Support us

ChatGPT даёт неправильные ответы на вопросы по программированию более чем в половине случаев

ChatGPT выдает больше неверных, чем верных ответов на вопросы по программированию, выяснили исследователи из Университета Пёрдью. Но это не мешает чатботу быть довольно убедительным и обмануть живых испытуемых более чем в трети случаев.

3 комментария
ChatGPT даёт неправильные ответы на вопросы по программированию более чем в половине случаев

ChatGPT выдает больше неверных, чем верных ответов на вопросы по программированию, выяснили исследователи из Университета Пёрдью. Но это не мешает чатботу быть довольно убедительным и обмануть живых испытуемых более чем в трети случаев.

Исследователи анализировали ответы нейросети на 517 вопросов со Stack Overflow на предмет правильности, связности, полноты и сжатости. Помимо этого, они проводили лингвистический анализ и анализ эмоциональной окрашенности ответов, а также предложили оценить их 12 волонтерам.

52% ответов ChatGPT оказались неправильными, а 77% были излишне многословны. Несмотря на это испытуемые отдали предпочтение ответам чатбота в 39,94% случаев благодаря их полноте и чёткости изложения. OpenAI, разработчица ChatGPT, допускает, что инструмент «может порождать неточную информацию о людях, местах или фактах». Об этом говорится на его сайте.

Исследователи пришли к выводу, что пользователи замечают ошибки в ответах чатбота только тогда, когда они действительно очевидны. Если же ошибку нельзя легко и сразу проверить или для этого нужна внешняя IDE или документация, то пользователи зачастую не распознают ошибки или недооценивают их вероятность. Авторы работы считают, люди легко вводятся в заблуждение из-за располагающего к себе стиля письма чатбота. По их словам, чёткость формулировок, книжный стиль, детальность ответов и их позитивный окрас создают ложное впечатление правильности.

Профессор в США «завалил» выпускников за то что пользовались ChatGPT. Но они не пользовались
Профессор в США «завалил» выпускников за то, что пользовались ChatGPT. Но они не пользовались
По теме
Профессор в США «завалил» выпускников за то, что пользовались ChatGPT. Но они не пользовались
Найден универсальный способ обмануть ChatGPT. Все оказалось проще чем вы думали
Найден универсальный способ обмануть ChatGPT. Все оказалось проще, чем вы думали
По теме
Найден универсальный способ обмануть ChatGPT. Все оказалось проще, чем вы думали
Читайте также
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
3 комментария
В России создали бесплатного конкурента генератора картинок DALL-E 2
В России создали бесплатного конкурента генератора картинок DALL-E 2
В России создали бесплатного конкурента генератора картинок DALL-E 2
2 комментария

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

0

С генерацией кода там тоже проблема, его надо допиливать. Простые какие вещи может, дальше разве что идею взять или какой обобщённый скелет и потом допиливать.

С конвертацией кода проще.

Anonymous
Anonymous
0

Всё логично, на формах обсуждают частные случаи, чат их использует в качестве источника знаний. Где же взяться готовым решениям?

Anonymous
Anonymous Software Engineer в Brightdata
0

Это и не удивительно - генеративная языковая модель создана для генерации ответов. Она не умеет мыслить, да и работа с контекстом у неё всегда идет с вопросами. Задача подобной модели - это сгенерировать ответ который максимально удовлетворит пользователя, а для этого и используются определенные речевые обороты, терминология, выдержки и цитаты.

Пользователь отредактировал комментарий 25 августа 2023, 20:54