OpenAI предложила способ бороться с «галлюцинациями» ChatGPT

«Даже самые современные ИИ-модели склонны выдавать ложные сведения. Они демонстрируют тенденцию выдумывать факты в моменте неопределенности. Эти галлюцинации вызывают много проблем в областях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы сорвать гораздо более масштабное решение», — говорится в отчете OpenAI.

Разработчики ChatGPT решили применить новую стратегию по борьбе с ложными утверждениями чат-бота: обучать модели ИИ вознаграждать себя за каждый отдельный, правильный шог рассуждений, когда они приходят к ответу, вмесо того чтобы вознаграждать только за правильный окончательный вывод.

По мнению математика OpenAI Карла Коббе, обнаружение и смягчение логических ошибок модели, или галлюцинаций, является критическим шагом на пути к созданию согласованного AGI — искусственного интеллекта общего назначения. Ученый добавил, что OpenAI открыла доступ к сопроводительному набору данных из 800 тысяч меток, которые она использовала для обучения специальной модели.