Актуальной темой в течение многих лет была безопасность критически важной инфраструктуры и операционных технологий (ОТ), а растущее использование ИИ в ОТ ставит новые вопросы. Рекомендации по их решению изложены в «Принципах безопасной интеграции искусственного интеллекта в операционные технологии», разработанных Агентством национальной безопасности США совместно с рядом глобальных партнеров. Это руководство, которое является попыткой АНБ заранее выявить возможные риски, предназначено для администраторов OT, но там отражены важные и для администраторов ИТ проблемы.

В настоящее время ИИ используется в операционных сетях в сфере энергетики, водоподготовки, здравоохранения и производства для оптимизации и автоматизации процессов. Опасения, как и в сфере ИТ, вызывает внедрение еще не проверенной на практике технологии без оценки ее ограничений.

В руководстве АНБ перечисляются такие возможные риски промышленных систем управления (Industrial Control System, ICS), как внедрение вредоносных промптов и «отравление» обучающих наборов данных (data poisoning), ведущие к снижению безопасности накопления данных, а также дрейф ИИ — деградация производительности из-за снижения точности моделей за счет несоответствия новых и обучающих данных.

Упоминаются также недостаточная способность моделей обосновывать свои решения, что важно для диагностики ошибок в ICS, трудности с соблюдением нормативных требований из-за быстрого развития ИИ, эффект снижения квалификации сотрудников из-за растущей зависимости от ИИ, их возможная перегрузка оповещениями ИИ.

Наконец, склонность чат-ботов и LLM к галлюцинациям и генерации ложной информации вызывает сомнения в надежности использования технологии в средах, где безопасность является приоритетом. ИИ может быть недостаточно надежным инструментом самостоятельного принятия важных решений в промышленных условиях и, почти наверняка, LLM не следует использовать для решений по безопасности в ОТ, считают авторы руководства. Это подчеркивает существенное различие между ИИ в средах OT и ИТ: сети для ICS критически важны с точки зрения безопасности предприятий.

Согласно рекомендациям опубликованного руководства, организациям следует принять принципы безопасного проектирования Агентства кибербезопасности и инфраструктуры США (CISA) с фокусом на защиту ОТ с первых шагов их создания, а также оценить, даст ли разработка проекта OT с ИИ собственными силами больший контроль над проектированием и внедрением ИИ в долгосрочной перспективе.

В экспертном сообществе считают, что в предложенном руководстве своевременно затронуты важные темы, отмечая, что там не рассматриваются сохраняющиеся опасения по поводу того, что безопасность ОТ по-прежнему не получает должного финансирования.