ChatGPT выдае больш няслушных, ніж слушных адказаў на пытанні па праграмаванні, высветлілі даследчыкі з Універсітэта Пёрд’ю. Але гэта не замінае чатботу быць даволі пераканаўчым і падманваць жывых падыспытных больш як у траціне выпадкаў.
ChatGPT выдае больш няслушных, ніж слушных адказаў на пытанні па праграмаванні, высветлілі даследчыкі з Універсітэта Пёрд’ю. Але гэта не замінае чатботу быць даволі пераканаўчым і падманваць жывых падыспытных больш як у траціне выпадкаў.
Даследчыкі аналізавалі адказы нейрасеткі на 517 пытанняў са Stack Overflow на прадмет правільнасці, складнасці, паўнаты і сцісласці. Акрамя гэтага, яны праводзілі лінгвістычны аналіз і аналіз эмацыйнай афарбаванасці адказаў, а таксама прапаноўвалі ацаніць іх 12 валанцёрам.
52% адказаў ChatGPT выявіліся няправільнымі, а 77% былі залішне шматслоўнымі. Нягледзячы на гэта, падыспытныя аддалі перавагу адказам чатбота ў 39,94% выпадкаў дзякуючы іх паўнаце і дакладнасці выкладу. OpenAI, распрацоўшчык ChatGPT, дапускае, што інструмент «можа спараджаць недакладную інфармацыю пра людзей, месцы або факты». Пра гэта гаворыцца на яго сайце.
Даследчыкі прыйшлі да высновы, што карыстальнікі заўважаюць памылкі ў адказах чатбота толькі тады, калі яны сапраўды відавочныя. Калі ж памылку нельга лёгка і адразу праверыць або для гэтага патрэбная вонкавая IDE або дакументацыя, то карыстальнікі часцяком не распазнаюць памылак або недаацэньваюць іх верагоднасць. Аўтары працы лічаць, людзей лёгка ўвесці ў зман праз стыль пісьма чатбота, які выклікае прыхільнасць да сябе. Паводле іх слоў, дакладнасць фармулёвак, кніжны стыль, дэталёвасць адказаў і іх пазітыўная афарбоўка ствараюць ілжывае ўражанне правільнасці.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
С генерацией кода там тоже проблема, его надо допиливать. Простые какие вещи может, дальше разве что идею взять или какой обобщённый скелет и потом допиливать.
С конвертацией кода проще.
Всё логично, на формах обсуждают частные случаи, чат их использует в качестве источника знаний. Где же взяться готовым решениям?
Это и не удивительно - генеративная языковая модель создана для генерации ответов. Она не умеет мыслить, да и работа с контекстом у неё всегда идет с вопросами. Задача подобной модели - это сгенерировать ответ который максимально удовлетворит пользователя, а для этого и используются определенные речевые обороты, терминология, выдержки и цитаты.
Карыстальнік адрэдагаваў каментарый 25 жніўня 2023, 20:54