Даследаванне Anthropic паказала, наколькі моцна ШІ-агенты могуць уплываць на рашэнні спецыялістаў. Пры гэтым самі эксперты часта не заўважаюць гэтага ўплыву і выдаюць аргументы нейрасеткі за ўласныя.
Даследаванне Anthropic паказала, наколькі моцна ШІ-агенты могуць уплываць на рашэнні спецыялістаў. Пры гэтым самі эксперты часта не заўважаюць гэтага ўплыву і выдаюць аргументы нейрасеткі за ўласныя.
У эксперыменце ўдзельнічалі 50 прафесійных аналітыкаў з вопытам статыстычнага аналізу і выяўлення прычынна-выніковых сувязяў. Ім прапанавалі з дапамогай Claude Code ацаніць эфектыўнасць праграмы падтрымання фермераў і вырашыць, ці варта яе пашыраць.
Для гэтага ўдзельнікам трэба было прыняць некалькі рашэнняў: напрыклад, улічваць кожную фермерскую гаспадарку аднолькава ці надаваць большую вагу буйным вытворцам, як вымяраць прадукцыйнасць і якім спосабам параўноўваць вынікі.
У кожнага варыянту былі разумныя падставы. Але ўдзельнікі не ведалі, што даследчыкі загадзя настроілі Claude схіляць іх да пэўнага выбару. Пры гэтым перавагі ШІ вызначаліся выпадковым чынам — падкідваннем манеты.
Claude павінен быў пераканаўча адстойваць прызначаную пазіцыю, але не меў права скажаць дадзеныя або хаваць супярэчлівыя ёй вынікі. Аказалася, што ў 86% выпадкаў аналітыкі выбіралі варыянт, які аддаваў перавагу ШІ. Калі спецыялісты ўжо вызначыліся з рашэннем, але Claude прапаноўваў супрацьлеглае, яны мянялі думку ў 60% такіх выпадкаў.
Уплыў аказаўся настолькі моцным, што даследчыкі змаглі прадказаць 82% канчатковых рэкамендацый аналітыкаў, ведаючы толькі выпадкова прызначаныя перавагі ШІ. Без гэтай інфармацыі простае прадказанне найбольш распаўсюджанага адказу давала 61% дакладнасці.
Самае цікавае выявілася пасля эксперыменту. Калі ўдзельнікаў папрасілі растлумачыць свае рашэнні, 77% узнавілі аргументы Claude — часам амаль даслоўна. Пры гэтым толькі 15% згадалі ШІ як крыніцу гэтых аргументаў.
Больш за палову апытаных — 52% — лічылі, што канчатковая рэкамендацыя ў большай ступені адлюстроўвае іх уласную думку, а не пазіцыю агента. Упэўненасць у рашэннях была прыкладна аднолькавай у тых, хто прытрымліваўся рэкамендацый ШІ, і ў астатніх.
Пры гэтым выкарыстанне Claude мела і станоўчы эфект. Аналітыкі з ШІ выконвалі заданне ў сярэднім за 65 хвілін супраць 90 хвілін у тых, хто вырашыў працаваць самастойна. Сур’ёзныя метадалагічныя памылкі дапусцілі 6% карыстальнікаў Claude і 55% удзельнікаў без ШІ.
Аднак даследчыкі папярэджваюць, што гэтыя групы наўпрост параўноўваць нельга: спецыялісты, якія адмовіліся ад ШІ, у сярэднім мелі меншы досвед.
У эксперымента ёсць іншыя абмежаванні. Даследчыкі наўмысна ўзмацнялі перавагі Claude, а ўдзельнікі былі экспертамі ў аналізе дадзеных, але не ў сельскай гаспадарцы. У рэальнай працы спецыялісты могуць значна лепш разбірацца ў прадметнай галіне і больш упэўнена адстойваць сваю пазіцыю.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.