ШІ робіць сур'ёзныя памылкі ў навінах у палове выпадкаў

Даследчыкі вывучылі 3 тысячы адказаў чат-ботаў — ChatGPT, Copilot, Gemini і Perplexity — на пытанні па змесце навін. Эксперымент праводзіўся на 14 мовах.

45% адказаў утрымлівалі прынамсі адну сур’ёзную памылку, а ў цэлым тыя ці іншыя прэтэнзіі ўзніклі да 81% адказаў. У траціне адказаў былі грубыя памылкі, звязаныя з крыніцамі — яны адсутнічалі, былі фальшывымі або некарэктнымі. Значныя праблемы з цытаваннем рэсурсаў былі прыкладна ў 72% адказаў Gemini супраць менш за 25% — у іншых асістэнтаў.

Праблемы з дакладнасцю, у тым ліку састарэлыя факты, былі заўважаны ў 20% адказаў усіх разгледжаных асістэнтаў у цэлым. Gemini, напрыклад, хлусіў пра змены ў некаторыя законы, а ChatGPT сцвярджаў, што нябожчык папа рымскі Францыск усё яшчэ займае свой пост.

Аўтары даследавання падкрэсліваюць, што сёння чат-боты паступова выцясняюць звыклыя пашукавікі. Таму пытанне іх надзейнасці як ніколі актуальнае: людзі не будуць ведаць, каму можна давяраць, таму не будуць давяраць нікому, што ў канчатковым выніку можа падарваць дэмакратычныя асновы грамадства, адзначаюць у EBU.

Reuters раней паведамляў, што прыкладна 7% людзей, якія чытаюць навіны ў інтэрнэце, і 15% тых з іх, каму менш за 25 гадоў, выкарыстоўваюць для гэтага ШІ-асістэнтаў.