На протяжении многих лет специалисты в области кибербезопасности руководствовались тем, что новые технологии имеют свои особенности, но не создают принципиально новых проблем. Согласно этой точки зрения, искусственный интеллект является обычным программным обеспечением, только еще более быстрым, сложным и мощным. Поэтому на семинаре, организованном Национальным институтом стандартов и технологий США (NIST), в свое время был высказан тезис о том, что средства управления, защищающие традиционные системы, в значительной степени можно адаптировать и для защиты ИИ. В таком случае начинать все с нуля не придется.

Однако по мере смещения обсуждения в сторону ИИ-агентов концепция эта начала рушиться. Эксперты продемонстрировали, как ИИ подрывает фундаментальные подходы, основанные на том, что поведение систем детерминировано, границы между компонентами устойчивы, а люди полностью контролируют ситуацию.

Новые инициативы NIST сигнализируют о предстоящем переходе к специализированным стандартам безопасности, которые должны учитывать уникальные риски автономных систем, в том числе непредсказуемое поведение ИИ-агентов и уязвимости к атакам через данные. В начале января Центр стандартов и инноваций в области ИИ опубликовал официальный запрос на информацию (RFI), посвященный безопасности ИИ-агентов – систем, способных принимать автономные решения и взаимодействовать с реальным миром без постоянного контроля со стороны человека. Документ фокусируется на системах ИИ, которые способны выполнять автономные действия, влияющие на реальную среду, и запрашивает информацию о новых рисках, методах оценки и обеспечения безопасности, а также об ограничениях при развертывании. Инициативы NIST направлены на укрепление безопасности систем ИИ с разных точек зрения – разработки, развертывания, идентификации, конфиденциальности и злоупотреблений со стороны противника – и включают в себя следующие составляющие.

— Платформа управления рисками (AI Risk Management Framework). Представлена 26 января 2023 года и разрабатывалась для более эффективного управления ИИ-рисками отдельных лиц, организаций и общества в целом.

— Центр стандартов и инноваций в области ИИ (Center for AI Standards and Innovation, CAISI). Призван упростить тестирование и проведение совместных исследований, связанных с использованием и защитой потенциала коммерческих систем ИИ. Занимается вопросами оценки систем искусственного интеллекта США и конкурирующих стран, внедрения иностранных моделей, потенциальных уязвимостей в системе безопасности и потенциального иностранного влияния.

— Отчет NIST AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations. Содержит классификацию понятий и определение терминологии в области состязательного машинного обучения.

— Dioptra. Тестовая платформа для оценки характеристик ИИ, заслуживающих доверия.

— NIST SP 800-218A, Secure Software Development Practices for Generative AI and Dual-Use Foundation Models: An SSDF Community Profile. Практики, задачи, рекомендации, соображения, заметки и информационные ссылки, относящиеся к разработке моделей ИИ на протяжении всего их жизненного цикла.

— PETs Testbed. Испытательный стенд, позволяющий исследовать технологии, повышающие уровень конфиденциальности (privacy-enhancing technologies, PET), и их соответствие конкретным вариантам использования. Помогает организациям оценивать риски конфиденциальности и управлять ими.

— Специальная публикация 800-63 Digital Identity Guidelines. Недавно NIST обновил свои рекомендации по цифровой идентификации от 2017 года для обеспечения их соответствия современным требованиям и темпам технических изменений.

Эксперты NIST выделяют три фундаментальных отличия ИИ-систем от классического ПО, подрывающих основы традиционной кибербезопасности.

— Вероятностное поведение вместо детерминированного: одни и те же входные данные могут давать разные результаты.

— Динамические границы: компоненты системы (модель, данные, инструменты) постоянно взаимодействуют, размывая чёткие периметры защиты.

— Автономность действий: агенты могут выполнять операции, не запрограммированные явно разработчиками.

Руководителям служб информационной безопасности рекомендуется пересмотреть подход к управлению рисками ИИ.

— Не ограничиваться функционалом существующих средств. Базовые принципы кибербезопасности применимы к ИИ, но требуют существенной модификации.

— Усилить мониторинг данных. Традиционные системы обнаружения угроз фокусируются на коде и сетевом трафике, а для ИИ критичны аномалии во входных данных.

— Пересмотреть управление идентификацией. Обновлённые руководства учитывают необходимость аутентификации не только людей, но и автономных агентов.

— Избегать перегруженности документацией. Детальный документ, состоящий из 100 страниц, полезен, но для организации быстрого внедрения необходимо и краткое руководство на 2-3 страницы.