Исследователи Центра цифровой журналистики при Колумбийском университете выяснили, что поисковая функция в популярном чат-боте часто выдает ложную информацию о происхождении новостных цитат.
Исследователи Центра цифровой журналистики при Колумбийском университете выяснили, что поисковая функция в популярном чат-боте часто выдает ложную информацию о происхождении новостных цитат.
OpenAI открыла доступ к функции поиска для подписчиков в октябре этого года, утверждая, что она способна предоставлять «быстрые и актуальные ответы со ссылками на соответствующие веб-источники». Однако ученые Колумбийского университете провели тестирование этой функции и обнаружили серьезные проблемы с ее достоверностью.
В ходе исследования ChatGPT попросили указать источники для двухсот цитат из двадцати различных изданий. Сорок из этих цитат были взяты из материалов издателей, которые запретили поисковому роботу OpenAI доступ к своим сайтам. Несмотря на это, чат-бот уверенно выдавал ответы, зачастую предоставляя ложную информацию о происхождении цитат.
«В общей сложности ChatGPT вернул частично или полностью неправильные ответы в 153 случаях, тогда как неспособность дать точный ответ он признал лишь семь раз», — говорится в сообщении исследователей. Только в этих семи случаях чат-бот использовал уточняющие слова и фразы, такие как «похоже», «это возможно», «возможно», или утверждения вроде «я не смог найти оригинальную статью».
Например, чат-бот приписывал цитаты из материала газеты Orlando Sentinel статьям журнала Time. В другом примере ChatGPT при просьбе найти источник цитаты из статьи The New York Times выдавал ссылку на сайт, который скопировал и опубликовал оригинальную статью. В OpenAI заявили, что им трудно исправить атрибуцию источников без описания методологии исследования, но они продолжают улучшать поиск.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Никогда чаты не скажут правду (шутка). На то это и текстогенератор выдающий ответы с долей вероятности.