ChatGPT даёт неправильные ответы на вопросы по программированию более чем в половине случаев

Исследователи анализировали ответы нейросети на 517 вопросов со Stack Overflow на предмет правильности, связности, полноты и сжатости. Помимо этого, они проводили лингвистический анализ и анализ эмоциональной окрашенности ответов, а также предложили оценить их 12 волонтерам.

52% ответов ChatGPT оказались неправильными, а 77% были излишне многословны. Несмотря на это испытуемые отдали предпочтение ответам чатбота в 39,94% случаев благодаря их полноте и чёткости изложения. OpenAI, разработчица ChatGPT, допускает, что инструмент «может порождать неточную информацию о людях, местах или фактах». Об этом говорится на его сайте.

Исследователи пришли к выводу, что пользователи замечают ошибки в ответах чатбота только тогда, когда они действительно очевидны. Если же ошибку нельзя легко и сразу проверить или для этого нужна внешняя IDE или документация, то пользователи зачастую не распознают ошибки или недооценивают их вероятность. Авторы работы считают, люди легко вводятся в заблуждение из-за располагающего к себе стиля письма чатбота. По их словам, чёткость формулировок, книжный стиль, детальность ответов и их позитивный окрас создают ложное впечатление правильности.