OpenAI, создатель бота ChatGPT, который запустил революцию систем генеративного ИИ, в собственном исследовании признала, что большие языковые модели всегда будут «галлюцинировать» ввиду фундаментальных математических ограничений, которые нельзя преодолеть инженерными методами.

Исследователи показали, что галюцинации являются следствием статистических свойств обучения модели, а не недостатков реализации: модель работает, выбирая наиболее вероятное слово после текущего, и даже когда для каждого слова вероятность ошибки низкая, при более длинных ответах она растет — для развернутого предложения вероятность как минимум вдвое выше, чем для простого ответа «да-нет». Особенно сильно это проявляется, когда информация, о которой был запрос, редко встречается в учебных данных.

Также галлюцинации происходят, когда поступает задача слишком масштабная, чтобы модель могла интерпретировать ее внутренними средствами, либо слишком сложная с вычислительной точки зрения, объясняют в OpenAI.

По словам авторов исследования, одна из главных причин неустранимости галлюцинаций — в особенностях обучения: модель вознаграждают за правильные ответы, а за ответ «не знаю» она получает нулевую оценку, поэтому машина предпочитает «выдумывать».