OpenAI объяснила, почему чат-боты галлюцинируют

Главная причина, по OpenAI, в том, как обучают модели и как устроены бенчмарки. Моделям выгоднее сделать неверную догадку, чем признать, что они не знают ответ. Так они с большей вероятностью получат вознаграждение, к которому стремятся.

Одни модели играют в угадайку лучше, чем другие. Ранее OpenAI отмечала, что модели Claude, например, в случае неуверенности чаще стараются не давать неточные ответы, хотя это и ограничивает полезность сервиса.

«Галлюцинации распространены из-за того, как устроены методы оценки языковых моделей: их натаскивают хорошо сдавать тесты. А угадывание в ситуации неопределённости только улучшает результат», — отмечают исследователи.

По сути, модели всегда в режиме экзамена. И если люди в реальной жизни учатся понимать, что иногда лучше признать неуверенность, то моделей за неуверенность наказывают — для них всё чёрно-белое, правильное или неправильное.

Решить проблему исследователи предлагают корректировкой и унификацией тестов и метрик для оценки моделей. Нужно убрать наказание за воздержание от ответа при неуверенности и практики, которые поощряют гадания.