OpenAI, запустившая революцию генеративного ИИ, признала, что большие языковые модели всегда будут «галлюцинировать» ввиду фундаментальных математических ограничений, которые нельзя преодолеть инженерными методами. Исследователи показали, что галлюцинации являются следствием статистических свойств обучения модели, а не недостатков реализации: модель работает, выбирая наиболее вероятное слово после текущего, и даже когда для каждого слова вероятность ошибки низкая, при более длинных ответах она растет. Галлюцинации происходят, когда поступает задача слишком масштабная, чтобы модель могла интерпретировать ее внутренними средствами, либо слишком сложная с вычислительной точки зрения. Одна из причин неустранимости галлюцинаций — в особенностях обучения: модель вознаграждают за правильные ответы, а за ответ «не знаю» она получает нулевую оценку, поэтому машина предпочитает «выдумывать».

Источник: создано при помощи нейросети Kandinsky/fusionbrain.ai