OpenAI представила модель, которая исправляет ошибки в ответах ChatGPT

Модель-критик построена на базе GPT-4. Её тренировали на наборе фрагментов кода, в который были намеренно добавлены баги, чтобы она училась опознавать различные виды ошибок.

CriticGPT должна помогать людям проверять код в ответах чат-бота и подмечать ошибки, которые могли быть упущены. Критику CriticGPT человеческой аннотаторы предпочитали в 63% случаев. А команды, использующие модель, писали более качественные отзывы по сравнению с теми, которые работали самостоятельно.

Также разработчики создали новую технику под названием Force Sampling Beam Search (FSBS), благодаря которой CriticGPT способна писать более подробные ревью кода. Она позволяет контролировать тщательность поиска и то, как часто модель выдумывает проблемы, которых на самом деле нет.

CriticGPT в перспективе может работать не только с кодом. Исследователи опробовали модель на наборе обучающих данных ChatGPT, которые «кожаными» проверяющими были оценены как безупречные. CriticGPT нашла ошибки в них в 24% случаев, и эти ошибки подтвердили проверяющие.

Впрочем, у CriticGPT, как и у прочих ИИ-моделей, случаются галлюцинации. Она обучалась на относительно небольших ответах ChatGPT и может быть не готова к работе с более длинными и сложными задачами, с которыми столкнутся ИИ-системы в будущем. Ошибки в ответах также могут случаться и из-за некачественной разметки данных людьми.