Google разработала ИИ для проверки фактов у других ИИ

Система находит ошибки в ответах сервисов на базе больших языковых моделей. Таким образом разработчики пытаются решить проблему так называемых «галлюцинаций»: LLM нередко ошибаются, приводя в ответах недостоверные данные и настаивая на их истинности.

исследователи DeepMind создали ИИ-приложение, которое автоматически проверяет правильность ответов LLM и выявляет неточности. Новая модель вычленяет из вывода нейросети отдельные факты, формирует запрос поисковой системе и пытается найти подтверждение изложенных сведений.

Во время тестов SAFE проверила 16 тысяч ответов нескольких сервисов, среди которых были самые популярные Gemini, ChatGPT, Claude и PaLM-2. Затем выводы сравнили с результатами поиска людей вручную. В 72% случаев выводы SAFE совпали с мнениями людей. При анализе расхождений в 76% случаев прав был ИИ.

Команда DeepMind опубликовала код SAFE в GitHub, предоставив возможность использовать систему всем желающим для повышения точности и надёжности ответов LLM-моделей.