OpenAI опубликовала исследование о «галлюцинациях» у больших языковых моделей, на которых строятся чат-боты, когда они выдают придуманную информацию за действительную. Проблемы с фактами есть даже у популярных сервисов, включая GPT-5 и Claude.
OpenAI опубликовала исследование о «галлюцинациях» у больших языковых моделей, на которых строятся чат-боты, когда они выдают придуманную информацию за действительную. Проблемы с фактами есть даже у популярных сервисов, включая GPT-5 и Claude.
Главная причина, по OpenAI, в том, как обучают модели и как устроены бенчмарки. Моделям выгоднее сделать неверную догадку, чем признать, что они не знают ответ. Так они с большей вероятностью получат вознаграждение, к которому стремятся.
Одни модели играют в угадайку лучше, чем другие. Ранее OpenAI отмечала, что модели Claude, например, в случае неуверенности чаще стараются не давать неточные ответы, хотя это и ограничивает полезность сервиса.
«Галлюцинации распространены из-за того, как устроены методы оценки языковых моделей: их натаскивают хорошо сдавать тесты. А угадывание в ситуации неопределённости только улучшает результат», — отмечают исследователи.
По сути, модели всегда в режиме экзамена. И если люди в реальной жизни учатся понимать, что иногда лучше признать неуверенность, то моделей за неуверенность наказывают — для них всё чёрно-белое, правильное или неправильное.
Решить проблему исследователи предлагают корректировкой и унификацией тестов и метрик для оценки моделей. Нужно убрать наказание за воздержание от ответа при неуверенности и практики, которые поощряют гадания.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
в OpenAI сознательно гонят не раскрывая того как устроены ИИ классификаторы - это классификаторы и никакого интеллекта там нет :)
https://www.youtube.com/watch?v=l-9ALe3U-Fg
https://www.youtube.com/watch?v=5eqRuVp65eY
https://www.youtube.com/@WelchLabsVideo/videos
Они будут до последнего придумывать истории для хомячков, все просто - это способ получить инвестиции, т.е. перераспределить деньги. Конкретно те люди которые раздувают эту тему - профессиональные аферисты, цель вложить в такие стартапы на ранней стадии, потом выйти в прибыль на следующих раундах. Платят за это обычные люди по всему мирку которые откладывают деньги в пенсионные и другие фонды.
Эти цикли происходят каждые N лет. Сейчас рассказывают что еще немного и появится что-то называемое ИИ которое заменит человека - хотя понятно что текущая технология не является ИИ. До этого был бум блокчейна, все должно было быть на блокчейне. Еще была бигдата, которая должна была быть везде.
В общем это все очередные нанотехнологии. Найдена некоторая полезная функция, но аферисты пытаются убедить что там что-то глубже.
А еще есть всякие медиа, которые полезные новости найти не в состоянии и цель которых просмотры. По этому как только появляется очередная нанотехнология они пишут про это по несколько бессмысленных статей на день.
Ну, и что это объясняет? Почему классификаторы не могут быть интеллектом? Что вообще значит "классификатор" в контексте штуки, с которой можно разговаривать на любые темы? Если уж на то пошло, то классификация - разделение на группы, а трансформер продолжает цепочку токентов новыми токенами.