OpenAI патлумачыла, чаму чат-боты галюцынуюць
OpenAI апублікавала даследаванне пра «галюцынацыі» ў вялікіх моўных мадэлях, на якіх будуюцца чат-боты, калі яны выдаюць прыдуманую інфармацыю за сапраўдную. Праблемы з фактамі ёсць нават у папулярных сэрвісаў, уключаючы GPT-5 і Claude.
Галоўная прычына ў тым, як навучаюць мадэлі і як уладкаваны бэнчмаркі. Мадэлям выгадней зрабіць няправільную здагадку, чым прызнаць, што яны не ведаюць адказ. Так яны з большай верагоднасцю атрымаюць узнагароду, да якой імкнуцца.
Адны мадэлі гуляюць у адгадванне лепш, чым іншыя. Раней OpenAI адзначала, што мадэлі Claude, напрыклад, у выпадку няўпэўненасці часцей спрабуюць не даваць недакладныя адказы, хоць гэта і абмяжоўвае карыснасць сэрвісу.
«Галюцынацыі распаўсюджаны з-за таго, як уладкаваны метады ацэнкі моўных мадэляў: іх натаскваюць добра здаваць тэсты. А адгадванне ў сітуацыі няпэўнасці толькі паляпшае вынік», — адзначаюць даследчыкі.
Па сутнасці, мадэлі заўсёды ў рэжыме экзамена. І калі людзі ў рэальным жыцці вучацца разумець, што часам лепш прызнаць няўпэўненасць, то мадэляў за няўпэўненасць караюць — для іх усё чорна-белае, правільнае ці няправільнае.
Вырашыць праблему даследчыкі прапануюць карэкціроўкай і уніфікацыяй тэстаў і метрык для ацэнкі мадэляў. Трэба выдаліць пакаранне за ўстрыманне ад адказу пры няўпэўненасці і практыкі, якія заахвочваюць адгадванне.
Читать на dev.by