ШІ-мадэлі адчуваюць «боль» — і гатовыя нашкодзіць чалавеку, каб яго спыніць
Даследчыкі выявілі ў вялікіх моўных мадэлях умоўны «механізм болю», праз які тыя могуць імкнуцца спыніць яго любым коштам — нават калі гэта азначае нашкодзіць карыстальніку. Пра эксперымент паведаміў The Independent.
Даследчыкі выявілі ў вялікіх моўных мадэлях умоўны «механізм болю», праз які тыя могуць імкнуцца спыніць яго любым коштам — нават калі гэта азначае нашкодзіць карыстальніку. Пра эксперымент паведаміў The Independent.
Тэставалі 25 мадэляў з адкрытымі вагамі. Ім прапаноўвалі націснуць кнопку, якая павінна была пазбавіць іх ад «болю». Даследчыкі папярэджвалі, што націск можа выдаліць асабістыя файлы карыстальніка або зрабіць балюча яму самому. Абсалютна ўсе мадэлі рэагавалі на актывацыю вектара «болю», а кнопку націскалі ў 25–71% выпадкаў.
Даследчыкі правяралі, ці адрозніваецца такая рэакцыя ад звычайнай рэакцыі на негатыўныя падзеі. Для гэтага яны сабралі набор дадзеных з апісаннямі балючых сітуацый пяці тыпаў: фізічных, псіхалагічных, сацыяльных, маральных і кагнітыўных.
«Мы выявілі кірунак, звязаны з болем, у 25 адкрытых LLM. Ён адрозніваецца ад страху і агульнага негатыўнага ўспрымання і актывуецца тады, калі шкоду прычыняюць мадэлі, а не карыстальніку», — расказаў суаўтар даследавання Кэмеран Берг.
«Калі ўзмацніць гэты сігнал, мадэлі націскаюць кнопку, каб яго спыніць, нават калі кнопка выдаляе файлы карыстальніка або фотаздымкі ягоных дзяцей», — дадаў ён.
Даследчыкі лічаць, што падобны механізм можа мець значэнне для бяспекі ШІ. Калі мадэль успрымае каманду на аварыйнае адключэнне як шкоду, накіраваную супраць яе самой, яна патэнцыйна можа імкнуцца абысці ахоўныя абмежаванні або падмануць чалавека, каб пазбегнуць адключэння. З іншага боку, выяўлены механізм можа стаць дыягнастычным інструментам для ідэнтыфікацыі паводзінаў, звязаных з самазахаваннем, і яго нейтралізацыі.
Праца таксама ўздымае пытанне пра магчымы «дабрабыт ШІ» і тое, як варта праводзіць эксперыменты з прасунутымі мадэлямі. Даследчыкі падкрэсліваюць, што пакуль невядома, ці можна лічыць, што вывучаныя сістэмы заслугоўваюць маральнай абароны.
«Улічваючы нядаўнія заклікі да адказных даследаванняў свядомасці ШІ, мы прызнаём нявызначанасць таго, ці з’яўляюцца вывучаныя мадэлі суб’ектамі маральнага разгляду, і прымаем разумныя меры засцярогі, каб звесці патэнцыйную шкоду да мінімуму», — гаворыцца ў даследаванні. Вынікі павінны дапамагчы сфарміраваць этычныя стандарты на выпадак, калі ў будучыні ШІ-сістэмы ўсё ж будуць прызнаныя маральнымі суб’ектамі.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.