OpenAI апублікавала даследаванне пра «галюцынацыі» ў вялікіх моўных мадэлях, на якіх будуюцца чат-боты, калі яны выдаюць прыдуманую інфармацыю за сапраўдную. Праблемы з фактамі ёсць нават у папулярных сэрвісаў, уключаючы GPT-5 і Claude.
OpenAI апублікавала даследаванне пра «галюцынацыі» ў вялікіх моўных мадэлях, на якіх будуюцца чат-боты, калі яны выдаюць прыдуманую інфармацыю за сапраўдную. Праблемы з фактамі ёсць нават у папулярных сэрвісаў, уключаючы GPT-5 і Claude.
Галоўная прычына ў тым, як навучаюць мадэлі і як уладкаваны бэнчмаркі. Мадэлям выгадней зрабіць няправільную здагадку, чым прызнаць, што яны не ведаюць адказ. Так яны з большай верагоднасцю атрымаюць узнагароду, да якой імкнуцца.
Адны мадэлі гуляюць у адгадванне лепш, чым іншыя. Раней OpenAI адзначала, што мадэлі Claude, напрыклад, у выпадку няўпэўненасці часцей спрабуюць не даваць недакладныя адказы, хоць гэта і абмяжоўвае карыснасць сэрвісу.
«Галюцынацыі распаўсюджаны з-за таго, як уладкаваны метады ацэнкі моўных мадэляў: іх натаскваюць добра здаваць тэсты. А адгадванне ў сітуацыі няпэўнасці толькі паляпшае вынік», — адзначаюць даследчыкі.
Па сутнасці, мадэлі заўсёды ў рэжыме экзамена. І калі людзі ў рэальным жыцці вучацца разумець, што часам лепш прызнаць няўпэўненасць, то мадэляў за няўпэўненасць караюць — для іх усё чорна-белае, правільнае ці няправільнае.
Вырашыць праблему даследчыкі прапануюць карэкціроўкай і уніфікацыяй тэстаў і метрык для ацэнкі мадэляў. Трэба выдаліць пакаранне за ўстрыманне ад адказу пры няўпэўненасці і практыкі, якія заахвочваюць адгадванне.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
в OpenAI сознательно гонят не раскрывая того как устроены ИИ классификаторы - это классификаторы и никакого интеллекта там нет :)
https://www.youtube.com/watch?v=l-9ALe3U-Fg
https://www.youtube.com/watch?v=5eqRuVp65eY
https://www.youtube.com/@WelchLabsVideo/videos
Они будут до последнего придумывать истории для хомячков, все просто - это способ получить инвестиции, т.е. перераспределить деньги. Конкретно те люди которые раздувают эту тему - профессиональные аферисты, цель вложить в такие стартапы на ранней стадии, потом выйти в прибыль на следующих раундах. Платят за это обычные люди по всему мирку которые откладывают деньги в пенсионные и другие фонды.
Эти цикли происходят каждые N лет. Сейчас рассказывают что еще немного и появится что-то называемое ИИ которое заменит человека - хотя понятно что текущая технология не является ИИ. До этого был бум блокчейна, все должно было быть на блокчейне. Еще была бигдата, которая должна была быть везде.
В общем это все очередные нанотехнологии. Найдена некоторая полезная функция, но аферисты пытаются убедить что там что-то глубже.
А еще есть всякие медиа, которые полезные новости найти не в состоянии и цель которых просмотры. По этому как только появляется очередная нанотехнология они пишут про это по несколько бессмысленных статей на день.
Ну, и что это объясняет? Почему классификаторы не могут быть интеллектом? Что вообще значит "классификатор" в контексте штуки, с которой можно разговаривать на любые темы? Если уж на то пошло, то классификация - разделение на группы, а трансформер продолжает цепочку токентов новыми токенами.