Эксперты Gartner прогнозируют, что из-за проблем с ИИ к 2028 году в одной из крупных стран мира может быть парализована критически важная национальная инфраструктура. ИТ-директорам следует пересмотреть подход к системам промышленного управления, в которые активно внедряются автономные ИИ-агенты.

В Gartner используют термин «киберфизические системы» (Cyber Physical Systems, CPS) для определения инженерных систем, объединяющих для взаимодействия с физическим миром сбор данных, вычисления, управление, коммуникации  и аналитику. Такие системы охватывают операционные технологии (OT), промышленные системы управления (ICS), системы промышленной автоматизации и управления (IACS), промышленный интернет вещей (IIoT), роботов, дроны и концепцию Индустрия 4.0.

Проблема, о которой говорят в Gartner, связана не столько с «галлюцинациями» ИИ, сколько с тем, что ИИ-системы не замечают небольшие изменения, способные привести к катастрофе, которые могут обнаружить опытные операторы. Также современные модели ИИ настолько сложны, что даже разработчики не всегда могут предсказать, как небольшие изменения в конфигурациях повлияют на их поведение и настройки. Для защиты национальной инфраструктуры от инцидентов из-за неправильной настройки ИИ нужен доступный только авторизованному персоналу защищенный «аварийный выключатель» или режим принудительного вмешательства оператора.

В Ghostline Strategies, как и в Gartner, считают одной из проблем промышленного ИИ слабое распознавание незначительных отклонений параметров от нормальных показателей, которые нужно воспринимать либо как приемлемый фоновый шум, либо как серьезную проблему и начало аварии. Именно это умеют делать квалифицированные операторы.

По мере использования в промышленной автоматизации автономного ИИ угрозы растут. Проблемы из-за промышленного ИИ, способные намного превысить потенциальную выгоду от его применения, усугубляются растущим разрывом между внедрением ИИ и зрелостью системы управления рисками. Промышленный ИИ развивается слишком быстро, поэтому необходимо искать новые подходы к управлению решениями на его основе и внедрять системы, которые будут контролировать ИИ как потенциальную случайную инсайдерскую угрозу. Следует разработать программу управления бизнес-рисками предприятия, создать комитет для определения этих рисков, управления ими, мониторинга изменений в поведении ИИ, полагают в Info-Tech Research Group.

Для решения таких проблем руководителям компаний необходимо в первую очередь пересмотреть структурные вопросы, утверждают в Greyhound Research. Как только ИИ-система начинает влиять на физический процесс, она перестает быть аналитическим инструментом и становится частью комплекса управления с определенными «обязанностями»» по обеспечению безопасности. Неправильные настройки в киберфизических средах сначала не приводят к катастрофическим последствиям, но в тесно связанных инфраструктурах каскадные эффекты часто начинаются именно с незначительных изменений. Необходимо четко представлять наихудшие сценарии поведения для каждого операционного компонента с ИИ и влияние отклонений на поведение комплекса промавтоматизации. Если такое представление отсутствует, то система управления рисками недостаточно зрелая.