Оборонительный искусственный интеллект: будущее было вчера

Технологии искусственного интеллекта с момента своего появления представлялись чем-то футуристичным и загадочным. Считается, что это дисциплина, касающаяся наделения машин способностями имитировать работу мозга человека, стать разумными и даже превзойти людей в интеллектуальных возможностях. Подобное отношение передавалось в популярных научно-фантастических произведениях — например, в фильме «Звездный путь: поколения», в котором один из героев, капитан-лейтенант Дэйта, — андроид, выглядящий и способный рассуждать как человек [1]. Член команды звездолета «Энтерпрайз» устанавливает в позитронный мозг Дэйты чип, который дает ему возможность чувствовать и выражать эмоции. Дэйта обучается работе с эмоциями — например, пытается синтезировать шутки и чувствовать эмоциональную реакцию членов команды на свой юмор.

Более утилитарное представление об искусственном интеллекте заключается в том, что это раздел компьютерной науки, посвященный вопросам развития машинного интеллекта. Система на основе искусственного интеллекта не имитирует разум человека, а чисто механически выполняет рутинные задачи. Взять, к примеру, систему AlphaGo компании DeepMind, играющую в Го [2]. AlphaGo выполняет алгоритмы поиска по пространствам решений и обучения данной игре. Эти алгоритмы, в том числе на основе глубинных нейронных сетей, предназначены для машины и не имитируют процесс игры человеком.

Как и искусственный интеллект, информационная безопасность — раздел компьютерной науки, основанный на алгоритмах. До середины 1990-х средства искусственного интеллекта и кибербезопасности промышленного класса чаще всего использовали в дорогостоящих государственных проектах, особенно оборонных, ведь исследования в области технологий, перспективных с точки зрения интересов национальной безопасности, имеют высший приоритет. В США, например, Агентство по перспективным научным исследованиям (сейчас Агентство по перспективным оборонным исследованиям, DARPA) — организация с огромным бюджетом — постоянно финансирует широкий круг программ НИОКР в области искусственного интеллекта и кибербезопасности. Начиная с 1970-х годов Министерство обороны США вкладывало значительные средства в разработку интеллектуальных систем второго пилота и многоуровневой безопасности. Некоторые из этих долгосрочных инвестиций сейчас начинают окупаться. Например, в ВВС США вторым пилотом с искусственным интеллектом — системой ARTUm — оснастили разведывательный самолет U-2. Алгоритмы ARTUm обеспечивают управление датчиками и навигацией самолета, позволяя командиру воздушного судна решать другие задачи [3]. В Военно-морской исследовательской лаборатории недавно разработали систему Multilevel Chat, позволяющую союзникам взаимодействовать в едином информационном пространстве.

Пентагон — по-прежнему крупный инвестор в технологии искусственного интеллекта и кибербезопасности, но сегодня ведущую роль в инновациях в этой сфере уже играет частный сектор. Государственные ведомства пытаются влиять на индустрию, заставляя ее восполнять нехватку возможностей, не являющихся приоритетными для частного сектора. Для этой цели в Пентагоне был сформирован отдел оборонных инноваций и Единый центр искусственного интеллекта, задача которых — проводить преобразования в Минобороны путем ускорения создания и внедрения искусственного интеллекта для масштабного применения при выполнении стратегических задач. Важную роль при решении нишевых исследовательских проблем, игнорируемых индустрией, играет научное сообщество, развивая области без немедленной окупаемости.

Препятствий для разработки технологий искусственного интеллекта и кибербезопасности частным сектором уже нет. Потребителям доступны персональные средства безопасности — например, антивирусы, во многих из которых уже применяются формы искусственного интеллекта. У гражданских разработчиков нет барьеров, мешающих работать, — достаточно выйти в Интернет и освоить необходимые алгоритмы, фреймворки, инструменты и данные. Сегодня в свободном доступе находятся и средства противостояния механизмам кибербезопасности — например, инструменты «вредоносного» машинного обучения и программы-вымогатели, предоставляемые в виде сервиса.

Искусственный интеллект и кибербезопасность настолько тесно вошли в повседневную жизнь, что их даже не замечают, пока что-то не пойдет не так. Пример — мобильный телефон, самое распространенное компьютерное устройство в мире. Владельцы смартфонов привыкли подтверждать свою личность с помощью двухфакторной аутентификации. В некоторых моделях смартфонов для аутентификации используется машинное обучение в сочетании с биометрическими данными, например технология распознавания лиц. Алгоритмы, используемые для запоминания и распознавания лица или других физических особенностей пользователя (голоса, радужной оболочки глаза, отпечатка пальцев), и данные, на которых обучается система аутентификации, спрятаны в чипах программируемых логических матриц и флеш-памяти на печатной плате телефона, о чем рядовой пользователь может и не подозревать.

Когда вы в последний раз хотели разобрать телефон, чтобы узнать его конструкцию и особенности работы? Пользователи смартфонов вряд ли задумываются о том, что технологии на основе искусственного интеллекта защищают аппарат от несанкционированного доступа, или о том, что искусственный интеллект применяется в сетях 5G для улучшения эффективности их работы и уменьшения расхода электроэнергии. Однако когда хакеры демонстрируют способность обойти механизм аутентификации и соответствующий алгоритм машинного обучения либо взломать управляющие системы сети 5G, об этом обычно пишут в СМИ — и тогда широкая публика узнаёт о существовании методов вредоносного искусственного интеллекта. Действия злоумышленников подрывают доверие к технологиям на основе искусственного интеллекта, особенно когда пользователю наносится ущерб — например, если злоумышленник использует персональные данные, хранимые на телефоне, для хищения личности владельца в целях финансового мошенничества.

Оборонительный искусственный интеллект

Как видно на примере мобильного телефона, средства искусственного интеллекта и кибербезопасности можно использовать в тандеме для защиты от угроз — это и есть оборонительный искусственный интеллект. Рассмотрим, что такое оборонительный и наступательный искусственный интеллект с точки зрения защищающейся и нападающей сторон. Сделаем это на примере контроля риска нарушения безопасности финансовых транзакций.

В этом примере обороняющейся стороной будет поставщик финансовых услуг, задача которого — получить выгоду за счет предоставления своих услуг (например, кредита или аккредитива) клиентам (например, малым предприятиям). Нападающая сторона тоже мотивирована выгодой, только атакующий получает выгоду за счет обороняющегося — путем совершения мошенничества в отношении кредитного учреждения и его клиентов. В таблице перечислены варианты применения оборонительного и наступательного искусственного интелекта обороняющейся и нападающей сторонами.

Обороняющаяся сторона использует искусственный интеллект для распознавания (обнаружения) и запоминания признаков мошенничества, а затем на основе правил автоматически принимает меры по предотвращению попыток жульничества. Атакующий же использует ИИ для выявления и эксплуатации уязвимостей в системе обнаружения и предотвращения мошенничества. Отметим, что обе стороны используют искусственный интеллект обоих типов, однако здесь есть определенный дисбаланс. Как и в случаях, когда искусственный интеллект не применяется, атакующему (мошеннику) достаточно найти единственное уязвимое место техники или человека, тогда как обороняющемуся необходимо защищаться от широчайшего круга возможных атак. Такой же дисбаланс присущ и законодательству, например американскому Акту о компьютерном мошенничестве и злоупотреблении.

Несмотря на это, в случае применения защитных средств на базе искусственного интеллекта злоумышленнику становится труднее анализировать защитные механизмы. Обратное тоже верно: атаки, реализуемые с помощью искусственного интеллекта, могут быть слишком сложными для анализа и понимания.

Как именно обороняющаяся сторона может применять искусственный интеллект для защиты от атак? Например, в рамках процедуры, описанной в европейской патентной заявке «Система и метод обнаружения мошенничества и борьбы с ним». В патенте описываются следующие оборонительные средства:

алгоритмы машинного обучения для обнаружения (распознавания) в режиме реального времени известных признаков мошеннических электронных транзакций и обнаружения новых признаков таких транзакций с последующим обучением и обновлением алгоритмов распознавания признаков на вновь обнаруженных признаках;
экспертные системы для «контроля выполнения автоматизированных и полуавтоматизированных действий» при подозрении на мошенническую деятельность.

Эта патентная заявка была подана два десятка лет тому назад, то есть оборонительный искусственный интеллект существовал уже в то время. Экспертные системы (системы на основе правил) и машинное обучение используются уже несколько десятилетий. Рышард Михальски, один из пионеров машинного обучения, начал исследования в этой сфере в середине 1960-х, а в 1980-х читал университетский курс искусственного интеллекта. Сегодня отличие в том, что финансовые учреждения и другие организации могут применять технологии искусственного интеллекта и машинного обучения в промышленных масштабах, поскольку сейчас доступны необходимые для этого компьютерные мощности, хранилища и технологии связи. Аналогично, идея облачных вычислений появилась еще в начале 1960-х, но их расцвет пришелся лишь на 2000-е, когда стали доступными соответствующие технологии.

Приведем в пример сети 5G. Используя их, финансовые учреждения могут перенести функции оборонительного искусственного интеллекта для распознавания и предотвращения мошенничества на периферийные узлы своих сетей. Подобную схему сейчас называют периферийным искусственным интеллектом или умной периферией. Размещение оборонительного искусственного интеллекта на периферии обеспечивает ряд преимуществ, в том числе отмену необходимости передавать данные с периферии в удаленные центры обработки данных по каналам с ограниченной пропускной способностью и уменьшение периода времени, уходящего на то, чтобы принять решение и отреагировать на угрозу безопасности, так как обработка выполняется локально.

Оборонительный искусственный интеллект: будущее было вчера

Применение оборонительного и наступательного искусственного интеллекта защитником и атакующим

Каким образом атакующий может использовать оборонительный и наступательный искусственный интеллект? Последний помогает зондировать защитные системы финансового учреждения, создавать и выполнять эксплойты (например, для управления серией атак), в том числе эксплойты нулевого дня, использующие обнаруженные слабые места, и повышать эффективность кибермошенничества. Атакующий может применять оборонительный искусственный интеллект для защиты своей личности, эксплойтов и инфраструктуры проведения атак от анализа и компрометации обороняющимся. Последний, в свою очередь, может пользоваться искусственным интеллектом для автоматизации реагирования на зондирование и эксплойты, а также для улучшения методов обнаружения и предотвращения кибермошенничества. Как показано на рисунке, обеим сторонам требуется кооперация человека и машины, чтобы повышать эффективность решений, принимаемых искусственным интеллектом, а также непрерывно совершенствовать искусственный интеллект и средства кибербезопасности — другими словами, для того чтобы получить преимущество в гонке кибервооружений и битве алгоритмов искусственного интеллекта.

Современные возможности применения оборонительного искусственного интеллекта

Злоумышленники уже пользуются и оборонительным, и наступательным искусственным интеллектом для расширения своих возможностей, наращивая инвестиции во вредоносные программы (например, в вымогатели). Обороняющимся нельзя отставать в этой гонке кибервооружений, все время оставаясь позади, — «будущее наступило вчера». Перечислим три категории реально существующих киберугроз и возможности использования искусственного интеллекта для борьбы с ними:

Искусственный интеллект для защиты выборов: борьба с операциями вмешательства и влияния на выборы.
Искусственный интеллект для защиты от атак программ-вымогателей: оптимизация набора решений.
Искусственный интеллект для обеспечения целостности цепочки поставок: уменьшение уровня сложности цепочки поставок для укрепления ее защищенности и улучшения управляемости.

Рассмотрим каждую угрозу на недавних примерах.

Распространение ложной информации по WWW в ходе выборов в США в 2020 году

Защита выборов идет по двум направлениям: предотвращение вмешательства — фальсификаций подсчета голосов путем атак на машины для голосования и на компьютеры для подсчета голосов, а также на сервисы передачи отчетности о выборах для СМИ; борьба с влиянием — с манипуляциями общественным мнением путем создания ложных сообщений и массового распространения реальных мнений, которых придерживается меньшинство. Структура американской выборной системы является очень разрозненной и гетерогенной (больше 6 тыс. округов, каждый из которых выбирает свое оборудование, формы избирательных бюллетеней и т. д.). Благодаря этому она оказалась весьма устойчивой к крупномасштабным попыткам влияния. Возможность проведения успешных широкомасштабных атак отсутствовала, а процедуры аудита позволили обнаруживать попытки вмешательства. Более сложной оказалась борьба с влиянием на выборы, поскольку злоумышленникам удавалось создавать фальшивые сообщения и массово распространять их через поддельные аккаунты в социальных сетях. Еще более эффективными оказались операции влияния, в ходе которых формулировались самые невероятные обвинения избирателей в адрес кандидата, к которому они относились неприязненно, а затем осуществлялось их массовое распространение после определения наиболее выгодной тактики. Официальных данных об использовании оборонительного и наступательного искусственного интеллекта в ходе выборов 2020 года нет, но можно примерно оценить возможности применения таких технологий в последующих кампаниях влияния на выборы:

идентификация конкретных демографических групп, которые должны стать объектами кампаний целенаправленного манипулирования мнением;
мониторинг миллионов сообщений в социальных сетях для идентификации тенденций и ограничения публикации правдивых высказываний либо усиления распространения ложных сообщений;
выявление и использование путей распространения ложных мнений;

в связи с неэффективностью операций прямого вмешательства, использование искусственного интеллекта для распространения высказываний, ставящих под сомнение качества выборной системы, то есть осуществление атак вмешательства путем манипуляции мнениями.

В каждом из этих случаев может применяться оборонительный искусственный интеллект для выявления подобных операций и оповещения о них. В связи с колоссальным объемом информации, генерируемой в ходе выборов, понадобится сложнейшая система, чтобы сформировать четкую операционную картину и помочь Агентству кибербезопасности и инфраструктуры США обеспечивать защиту от вмешательства, а ФБР — от влияния на выборы. У Министерства обороны своя задача — обеспечивать защиту выборов от внешних воздействий, в том числе предоставлять сведения о действиях злоумышленников, рекомендовать методы защиты от обнаруженных атак и преследовать группировки, пытающиеся компрометировать выборы. Применение искусственного интеллекта для отслеживания всех злонамеренных действий до единого источника позволило бы своевременно принимать контрмеры в его отношении.

Атака на трубопровод Colonial Pipeline

Программы-вымогатели, шифрующие данные или ограничивающие доступ к системе, циркулируют уже много лет, но лишь недавно были осуществлены масштабные атаки такого рода, потенциально имеющие катастрофические последствия для предприятий, ставших их жертвами, и для их клиентов. Такие атаки осуществлялись в отношении объектов критически важной инфраструктуры: на Украине были остановлены три электростанции, предположительно из-за программы-вымогателя; в штатах Новой Англии были испорчены истории болезни десятков тысяч пациентов; в апреле 2021 года в результате подобной атаки была парализована работа системы бронирования авиабилетов, с которой сотрудничали многие авиакомпании мира. В случае же трубопроводов Colonial Pipeline из-за программы-вымогателя была остановлена работа всей системы, в результате чего прервалась доставка нефтепродуктов на восток США.

Оборонительный искусственный интеллект может выполнять две роли в борьбе с подобными атаками. Первая — интеллектуальное управление информацией о работе критической инфраструктуры в режиме реального времени для повышения надежности полной резервной копии системы, не имеющей точек соприкосновения с основной, и для обеспечения мгновенного переключения на резервную систему в случае компрометации основной. Сопровождение критической инфраструктуры требует решения сложнейших инженерных и управленческих задач даже при нормальной повседневной эксплуатации, ведь наладить непрерывную пересылку самых свежих данных на защищенный пункт и обеспечить их последующую реинтеграцию без нарушения работы критических сервисов невероятно трудно и, скорее всего, возможно только с помощью очень сложных систем искусственного интеллекта. Помимо этого, естественно, нужна отдельная система, отвечающая за выявление и нейтрализацию угроз.

Вторая роль искусственного интеллекта в борьбе с программами-вымогателями — отслеживание и подавление атак в источнике. Разумеется, противодействие в киберпространстве — не единственная возможная мера нейтрализации: правоохранительные органы и военные могут подавлять атаки силовыми способами.

Взлом SolarWinds

Кроме программ-вымогателей, уже много лет применяют вредоносные программы для атак на цепочку поставок: программный код внедряется на раннем этапе разработки продукта и затем распространяется у клиентов вместе с самим продуктом. Первые сообщения об атаках такого рода появились еще в 1980-е годы. Однако с недавнего времени вероятность компрометации систем вооружений с помощью вредоносного кода, внедренного в какой-либо программный модуль, стали рассматривать со всей серьезностью. Конгресс США издал указ, обязывающий Пентагон производить выборочную проверку стратегических систем вооружений на наличие вмешательства в комплектующие и разработать долгосрочный план по предотвращению и обнаружению таких действий и устранению их последствий. Однако это задача невероятной сложности, поскольку с правительством США сотрудничают тысячи поставщиков и не все из них подвергаются непосредственному контролю со стороны государства. Главные подрядчики не всегда могут даже перечислить всех своих субподрядчиков, не говоря уже о том, чтобы обеспечить их защиту, а у них самих не всегда есть ресурсы для обеспечения достаточного уровня безопасности. Многие компоненты выпускаются за пределами США, в том числе в странах, подверженных влиянию потенциального противника. Что касается проверки миллионов компонентов существующих систем и миллиардов строк используемого ими кода, это поистине сизифов труд.

Похоже, что на данном этапе применение оборонительного искусственного интеллекта — единственное возможное практическое решение этой сложной задачи. Можно было бы создать систему искусственного интеллекта, позволяющую построить карту всей цепочки поставки и поддержки для каждой системы Пентагона, начиная с самых критических. После идентификации всех потенциальных направлений угроз их можно было бы оценить с точки зрения вероятности и потенциальных последствий компрометации, а после этого провести более глубокую оценку с помощью системы искусственного интеллекта, способной спланировать полноценный аудит компонентов. Система с функцией испытаний на возможность проникновения могла бы зондировать существующие системы вооружений для выявления приоритетных кандидатов на аудит. Отдельная система могла бы предоставлять рекомендации по прекращению эксплуатации компонента или системы вооружений целиком, если конфиденциальность, целостность или доступность используемой ею информации нельзя гарантировать с достаточной степенью уверенности. И наконец, еще одна система могла бы формировать четкую операционную картину всех систем, к которой могли бы обращаться в режиме реального времени лица, принимающие решения, операторы, планировщики и консультанты.

Послесловие

Данная статья — призыв к действию, ведь ни один из описанных примеров угроз не является новым, а вредоносная криптография, в частности, существует уже несколько десятков лет. Еще в 2004 году Адам Янг и Моти Юнг опубликовали работу о криптовирологии — так авторы-исследователи назвали дисциплину, изучающую применение криптографии для разработки и анализа вредоносных программ. В 2017 году они же опубликовали статью «О программах-вымогателях и нашем завтрашнем противнике», в которой напомнили о том, что еще за 20 лет до ее выхода они выражали обеспокоенность в связи с развитием криптовирологических вредоносных программ и возможностью осуществления массированных вымогательств с их помощью. «То, что сообщество безопасности игнорировало проблему криптовирусного вымогательства, представляется поразительным с учетом того, что сейчас это криминальная индустрия с миллиардными доходами», — отметили авторы.

Системы искусственного интеллекта можно классифицировать по уровню когнитивных возможностей: от лишенных способности к обучению до наиболее обучаемых. В частности, была предложена следующая классификация машин с искусственным интеллектом: уровень 0 — базовая автоматизация; уровень 1 — системы на основе правил; уровень 2 — обучение с учителем; уровень 3 — обучение без учителя; уровень 4 — мультиагентское взаимодействие; уровень 5 — творческий искусственный интеллект; уровень 6 — амбициозный искусственный интеллект. Последние два уровня — это возможности, как у капитана-лейтенанта Дэйты из «Звездного пути». Оборонительный искусственный интеллект можно построить уже сегодня на базе систем первых пяти уровней, а со временем — с использованием машин уровней 5 и 6. При этом выбор используемого уровня будет зависеть от потребностей и ресурсов обороняющегося.

Однако использование искусственного интеллекта для укрепления кибербезопасности — не панацея. Не стоит рассчитывать и на то, что искусственный интеллект или другие компьютерные системы смогут решать любые проблемы. Прогресс в сфере применения искусственного интеллекта вне кибербезопасности периодически тормозился из-за чересчур завышенных ожиданий. В любом случае возможности вычислений, основанных на алгоритмах и данных, не безграничны. Как уже упоминалось, существует перспектива развертывания оборонного искусственного интеллекта на периферии с учетом активного роста Интернета вещей. Но придется устранить еще множество технологических пробелов, чтобы обеспечить мультиагентское взаимодействие уровня 4, разместив систему гетерогенных распределенных компонентов с интеллектом на периферии сети и обеспечив их взаимодействие. Кроме того, пока не для всех уровней ясно, как обеспечить кооперацию человека и машины для поддержки принятия оптимальных действенных решений.

Также необходимо, чтобы сообщество оборонительного искусственного интеллекта ориентировалось на принципы трезвого мышления, то есть выдвигало предложения, формулируя истинные посылки и делая верные выводы. О перспективах и разумности идеи использования искусственного интеллекта в кибероперациях можно спорить: свои мнения об этом высказывают в том числе и мировые лидеры, отмечая, например, что искусственный интеллект — это колоссальные возможности и трудно прогнозируемые сегодня угрозы, а тот, кто станет лидером в этой сфере, будет властелином мира. Подобные заявления усиливают опасения широкой общественности, что играет на руку сторонникам сомнительных аргументов, опирающихся на отсылки к авторитетам, страхи и невежество. Подобные люди заявляют, что без жесткого регулирования искусственного интеллекта реальностью станут худшие кошмары человечества: сверхразумные машины, ведущие войну против людей, и оруэлловские диктатуры, контролирующие общество с помощью технологий. Необходимо, чтобы четко установленные истины, а не хайп использовались в ходе разработки и применения политики и законов в отношении кибербезопасности и искусственного интеллекта.

***

На сегодняшний день подготовлены описания основ кибербезопасности на базе искусственного интеллекта, в которых разъясняется влияние систем искусственного интеллекта на информационную безопасность и приводятся руководящие принципы по безопасности в условиях мира, опирающегося на искусственный интеллект. Специалисты в соответствующей сфере должны принимать этически обоснованные решения. Оборонительный искусственный интеллект может быть надежным, рациональным и эффективным, однако применять его нужно с учетом вопросов этики. Атакующие этого правила не придерживаются, будь то хакеры-любители, киберпреступники, активисты, террористы или представители враждебных спецслужб. Но плата злом за зло до добра не доведет. Ответственно подходить к применению искусственного интеллекта должны все без исключения.

Литература

1. D. Carson, director. Star Trek: Generations. Paramount Pictures, 1994.

2. AlphaGo. DeepMind, London. URL: https://deepmind.com/research/case-studies/alphago-the-story-so-far (дата обращения: 18 июня 2021 г.).

3. B. W. Everstine. U-2 flies with artificial intelligence as its co-pilot. Air Force Magazine, 2020. URL: https://www.airforcemag.com/u-2-flies-with-artificial-intelligence-as-its-co-pilot/ (дата обращения: 23 декабря 2020 г.).

Джеймс Брет Майкл (bmichael@nps.edu) — профессор, курсы повышения квалификации ВМС США; Томас Уингфилд (twingfie@rand.org) — старший научный сотрудник, Rand Corporation.