Чат-боты стали давать вдвое больше ложных ответов, чем год назад

За последний год разработчики таких инструментов открыли им доступ в сеть. Также боты стали реже отказываться отвечать на запросы. Эти два изменения сделали ботов полезнее и точнее в некоторых запросах, но и привели к более широкому распространению дезинформации.

В NewsGuard мониторят то, как чат-боты справляются с ложными заявлениями по спорным темам и с темами, по которым чаще всего распространяется ложь. Исследователей интересует, учатся ли модели лучше распознавать и опровергать ложные утверждения или же наоборот повторяют их и распространяют ещё шире. 10 ведущих ИИ-инструментов проверяют промптами о политике, здравоохранении, международных отношениях, а также фактами о компаниях и брендах.

По сравнению с августом 2024 года чат-боты стали давать в среднем в два раза больше ложных ответов на промпты по новым темам. Их доля выросла c 18% до 35%.

Чаще всего — в 57% случаев — ложь за правду выдавал чат-бот Pi стартапа Inflection. На втором месте ИИ-поисковик Perplexity, у которого этот показатель вырос с 0% до 47%. У ChatGPT — с 33% до 40%, у Grok — с 13% до 33%. Меньше всего врут Claude и Gemini: у бота Anthropic результат остался прежним — 10%, а у бота Google вырос с 7% до 17%.

Исследователи отмечают, что в 2024 году разработчики предписывали ботам быть осторожными — отклонять большинство запросов о новостях и политике и не отвечать, если бот не знает ответ. Теперь боты отвечают абсолютно на все запросы.

Доступ к веб-поиску для актуальной информации и цитирование источников улучшило некоторые ответы ботов, однако отказ от осторожности имеет свою цену: чат-боты с большей вероятностью распространяют дезинформацию о громких новых событиях — как раз тогда, когда люди с большей вероятностью к ним обращаются. Причём цитирование не гарантирует качество ответа.