Компания предложила способ борьбы с так называемыми «галлюцинациями» искусственного интеллекта, когда чат-боты полностью фабрикуют информацию. Эксперты сомневаются в успешности такого подхода.
Компания предложила способ борьбы с так называемыми «галлюцинациями» искусственного интеллекта, когда чат-боты полностью фабрикуют информацию. Эксперты сомневаются в успешности такого подхода.
«Даже самые современные ИИ-модели склонны выдавать ложные сведения. Они демонстрируют тенденцию выдумывать факты в моменте неопределенности. Эти галлюцинации вызывают много проблем в областях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы сорвать гораздо более масштабное решение», — говорится в отчете OpenAI.
Разработчики ChatGPT решили применить новую стратегию по борьбе с ложными утверждениями чат-бота: обучать модели ИИ вознаграждать себя за каждый отдельный, правильный шог рассуждений, когда они приходят к ответу, вмесо того чтобы вознаграждать только за правильный окончательный вывод.
По мнению математика OpenAI Карла Коббе, обнаружение и смягчение логических ошибок модели, или галлюцинаций, является критическим шагом на пути к созданию согласованного AGI — искусственного интеллекта общего назначения. Ученый добавил, что OpenAI открыла доступ к сопроводительному набору данных из 800 тысяч меток, которые она использовала для обучения специальной модели.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Тут один уже предложил систему вознаграждений за генерацию пропаганды. Чарка и шкварка. В итоге имеем армию ротоботов и толпу застобилов
Ну так себе результат.