ChatGPT дае няправільныя адказы на пытанні па праграмаванні больш як у палове выпадкаў

Даследчыкі аналізавалі адказы нейрасеткі на 517 пытанняў са Stack Overflow на прадмет правільнасці, складнасці, паўнаты і сцісласці. Акрамя гэтага, яны праводзілі лінгвістычны аналіз і аналіз эмацыйнай афарбаванасці адказаў, а таксама прапаноўвалі ацаніць іх 12 валанцёрам.

52% адказаў ChatGPT выявіліся няправільнымі, а 77% былі залішне шматслоўнымі. Нягледзячы на гэта, падыспытныя аддалі перавагу адказам чатбота ў 39,94% выпадкаў дзякуючы іх паўнаце і дакладнасці выкладу. OpenAI, распрацоўшчык ChatGPT, дапускае, што інструмент «можа спараджаць недакладную інфармацыю пра людзей, месцы або факты». Пра гэта гаворыцца на яго сайце.

Даследчыкі прыйшлі да высновы, што карыстальнікі заўважаюць памылкі ў адказах чатбота толькі тады, калі яны сапраўды відавочныя. Калі ж памылку нельга лёгка і адразу праверыць або для гэтага патрэбная вонкавая IDE або дакументацыя, то карыстальнікі часцяком не распазнаюць памылак або недаацэньваюць іх верагоднасць. Аўтары працы лічаць, людзей лёгка ўвесці ў зман праз стыль пісьма чатбота, які выклікае прыхільнасць да сябе. Паводле іх слоў, дакладнасць фармулёвак, кніжны стыль, дэталёвасць адказаў і іх пазітыўная афарбоўка ствараюць ілжывае ўражанне правільнасці.