ChatGPT выдает больше неверных, чем верных ответов на вопросы по программированию, выяснили исследователи из Университета Пёрдью. Но это не мешает чатботу быть довольно убедительным и обмануть живых испытуемых более чем в трети случаев.
ChatGPT выдает больше неверных, чем верных ответов на вопросы по программированию, выяснили исследователи из Университета Пёрдью. Но это не мешает чатботу быть довольно убедительным и обмануть живых испытуемых более чем в трети случаев.
Исследователи анализировали ответы нейросети на 517 вопросов со Stack Overflow на предмет правильности, связности, полноты и сжатости. Помимо этого, они проводили лингвистический анализ и анализ эмоциональной окрашенности ответов, а также предложили оценить их 12 волонтерам.
52% ответов ChatGPT оказались неправильными, а 77% были излишне многословны. Несмотря на это испытуемые отдали предпочтение ответам чатбота в 39,94% случаев благодаря их полноте и чёткости изложения. OpenAI, разработчица ChatGPT, допускает, что инструмент «может порождать неточную информацию о людях, местах или фактах». Об этом говорится на его сайте.
Исследователи пришли к выводу, что пользователи замечают ошибки в ответах чатбота только тогда, когда они действительно очевидны. Если же ошибку нельзя легко и сразу проверить или для этого нужна внешняя IDE или документация, то пользователи зачастую не распознают ошибки или недооценивают их вероятность. Авторы работы считают, люди легко вводятся в заблуждение из-за располагающего к себе стиля письма чатбота. По их словам, чёткость формулировок, книжный стиль, детальность ответов и их позитивный окрас создают ложное впечатление правильности.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
С генерацией кода там тоже проблема, его надо допиливать. Простые какие вещи может, дальше разве что идею взять или какой обобщённый скелет и потом допиливать.
С конвертацией кода проще.
Всё логично, на формах обсуждают частные случаи, чат их использует в качестве источника знаний. Где же взяться готовым решениям?
Это и не удивительно - генеративная языковая модель создана для генерации ответов. Она не умеет мыслить, да и работа с контекстом у неё всегда идет с вопросами. Задача подобной модели - это сгенерировать ответ который максимально удовлетворит пользователя, а для этого и используются определенные речевые обороты, терминология, выдержки и цитаты.
Карыстальнік адрэдагаваў каментарый 25 жніўня 2023, 20:54