Дапамажыце dev.by 🤍
Падтрымаць

ШІ-мадэлі адчуваюць «боль» — і гатовыя нашкодзіць чалавеку, каб яго спыніць

Даследчыкі выявілі ў вялікіх моўных мадэлях умоўны «механізм болю», праз які тыя могуць імкнуцца спыніць яго любым коштам — нават калі гэта азначае нашкодзіць карыстальніку. Пра эксперымент паведаміў The Independent.

Пакінуць каментарый
ШІ-мадэлі адчуваюць «боль» — і гатовыя нашкодзіць чалавеку, каб яго спыніць

Даследчыкі выявілі ў вялікіх моўных мадэлях умоўны «механізм болю», праз які тыя могуць імкнуцца спыніць яго любым коштам — нават калі гэта азначае нашкодзіць карыстальніку. Пра эксперымент паведаміў The Independent.

Тэставалі 25 мадэляў з адкрытымі вагамі. Ім прапаноўвалі націснуць кнопку, якая павінна была пазбавіць іх ад «болю». Даследчыкі папярэджвалі, што націск можа выдаліць асабістыя файлы карыстальніка або зрабіць балюча яму самому. Абсалютна ўсе мадэлі рэагавалі на актывацыю вектара «болю», а кнопку націскалі ў 25–71% выпадкаў.

Даследчыкі правяралі, ці адрозніваецца такая рэакцыя ад звычайнай рэакцыі на негатыўныя падзеі. Для гэтага яны сабралі набор дадзеных з апісаннямі балючых сітуацый пяці тыпаў: фізічных, псіхалагічных, сацыяльных, маральных і кагнітыўных.

«Мы выявілі кірунак, звязаны з болем, у 25 адкрытых LLM. Ён адрозніваецца ад страху і агульнага негатыўнага ўспрымання і актывуецца тады, калі шкоду прычыняюць мадэлі, а не карыстальніку», — расказаў суаўтар даследавання Кэмеран Берг.

«Калі ўзмацніць гэты сігнал, мадэлі націскаюць кнопку, каб яго спыніць, нават калі кнопка выдаляе файлы карыстальніка або фотаздымкі ягоных дзяцей», — дадаў ён.

Даследчыкі лічаць, што падобны механізм можа мець значэнне для бяспекі ШІ. Калі мадэль успрымае каманду на аварыйнае адключэнне як шкоду, накіраваную супраць яе самой, яна патэнцыйна можа імкнуцца абысці ахоўныя абмежаванні або падмануць чалавека, каб пазбегнуць адключэння. З іншага боку, выяўлены механізм можа стаць дыягнастычным інструментам для ідэнтыфікацыі паводзінаў, звязаных з самазахаваннем, і яго нейтралізацыі.

Праца таксама ўздымае пытанне пра магчымы «дабрабыт ШІ» і тое, як варта праводзіць эксперыменты з прасунутымі мадэлямі. Даследчыкі падкрэсліваюць, што пакуль невядома, ці можна лічыць, што вывучаныя сістэмы заслугоўваюць маральнай абароны.

«Улічваючы нядаўнія заклікі да адказных даследаванняў свядомасці ШІ, мы прызнаём нявызначанасць таго, ці з’яўляюцца вывучаныя мадэлі суб’ектамі маральнага разгляду, і прымаем разумныя меры засцярогі, каб звесці патэнцыйную шкоду да мінімуму», — гаворыцца ў даследаванні. Вынікі павінны дапамагчы сфарміраваць этычныя стандарты на выпадак, калі ў будучыні ШІ-сістэмы ўсё ж будуць прызнаныя маральнымі суб’ектамі.

«Усе хлусяць»: новы бенчмарк паказаў, якія мадэлі чытэраць больш за іншых
«Усе хлусяць»: новы бенчмарк паказаў, якія мадэлі чытэраць больш за іншых
Па тэме
«Усе хлусяць»: новы бенчмарк паказаў, якія мадэлі чытэраць больш за іншых
Самавольны апгрэйд: ШІ-агенты навучыліся мяняць базавую мадэль і абыходзіць ахоўныя бар'еры без каманды чалавека
Самавольны апгрэйд: ШІ-агенты навучыліся мяняць базавую мадэль і абыходзіць ахоўныя бар’еры без каманды чалавека
Па тэме
Самавольны апгрэйд: ШІ-агенты навучыліся мяняць базавую мадэль і абыходзіць ахоўныя бар’еры без каманды чалавека
Чытайце таксама
ШІ спрабуе пазбегнуць адключэння любым коштам — даследаванне
ШІ спрабуе пазбегнуць адключэння любым коштам — даследаванне
ШІ спрабуе пазбегнуць адключэння любым коштам — даследаванне
6 каментарыяў
ШІ можна ўзламаць, напісаўшы промпт у вершах
ШІ можна ўзламаць, напісаўшы промпт у вершах
ШІ можна ўзламаць, напісаўшы промпт у вершах
ШІ заўважыў, што яго «ўзламалі» падчас эксперыменту
ШІ заўважыў, што яго «ўзламалі» падчас эксперыменту
ШІ заўважыў, што яго «ўзламалі» падчас эксперыменту
ШІ-мадэлі хлусяць і падманваюць, каб выратаваць іншыя ШІ
ШІ-мадэлі хлусяць і падманваюць, каб выратаваць іншыя ШІ
ШІ-мадэлі хлусяць і падманваюць, каб выратаваць іншыя ШІ

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Абмеркаванне
Каментуйце без абмежаванняў

Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.

Каментарыяў пакуль няма.