Подобно чересчур самоуверенным людям, искусственный интеллект зачастую не понимает, когда совершает ошибку. Иногда для машины «осознать» ошибку сложнее, чем выдать верный результат.

Ученые Кембриджского университета и Университета Осло уверены, что такой дефект искусственного интеллекта — его «ахиллесова пята». По их словам, ограничения ИИ аналогичны известному математическому парадоксу: в своей работе исследователи показывают, что существуют задачи, решаемые с помощью стабильных и точных нейросетей, однако не существует алгоритма, который позволит получить сеть с такими характеристиками. При этом алгоритмы, позволяющие формировать стабильные и точные нейросети, существуют только для определенных случаев. Исследователи предлагают теорию классификации, описывающую условия, при которых нейронные сети можно обучить таким образом, чтобы получить надежную систему ИИ.

Парадокс, выведенный авторами, уходит корнями в работы великих математиков XX века Алана Тьюринга и Курта Геделя. В начале прошлого столетия ученые пытались доказать, что математика способна решить любую научную задачу. Однако Тьюринг и Гедель продемонстрировали невозможность доказать истинность или ложность некоторых математических утверждений и отсутствие возможности решения некоторых вычислительных задач с помощью алгоритмов. Спустя десятки лет математик Стив Смейл составил список из 18 нерешенных математических задач XXI века — последняя из них касается определения ограничений интеллектуальных возможностей человека и машин.

Авторы описываемого исследования перефразировали парадокс Тьюринга для мира ИИ: для некоторых задач не существует алгоритмов искусственного интеллекта, которые позволили бы их решить. То есть существуют задачи, для решения которых могут быть качественные нейросети, однако построить абсолютно надежную нейросеть такого рода невозможно, какими бы точными ни были обучающие данные и какой бы их объем ни был доступен.

При этом авторы подчеркивают, что не все системы ИИ являются по своей природе несовершенными: некоторые могут надежно решать определенные задачи с помощью определенных методов. В связи с этим в ситуациях, когда необходимы гарантии, возникает проблема, учитывая что многие системы ИИ — «черный ящик». А ведь глубинное обучение сегодня уже используют для диагностики заболевания и для предотвращения аварий автомобилей-роботов, хотя многие системы глубинного обучения ненадежны и их легко ввести в заблуждение.

Искусственный интеллект может делать ошибки, но необходимо, чтобы система «осознавала» факт своей неточности. Однако во многих случаях узнать о степени уверенности системы в своем решении не представляется возможным. Сейчас работа над системами ИИ ведется методом проб и ошибок: если что-то не срабатывает, увеличивают объем данных, в случае новой неудачи пробуют другой метод и т. д. По словам ученых, на данном этапе практические успехи применения искусственного интеллекта сильно опережают развитие теории и понимания принципов его работы.

Далее авторы планируют воспользоваться теорией приближения, численными методами и теорией алгоритмов, чтобы создать теоретический аппарат, позволяющий определить, какие нейросети можно формировать с помощью различных алгоритмов и какие из них будут стабильными и надежными.