Такійская кампанія Sakana AI нядаўна паказала АІ-сістэму пад назвай The AI Scientist, прызначаную для аўтаномнага правядзення навуковых даследаванняў і пабудаваную на аснове моўных мадэляў накшталт тых, што пад капотам у ChatGPT. У часе выпрабаванняў яна раптам стала самавольна мадыфікаваць свой код.
Такійская кампанія Sakana AI нядаўна паказала АІ-сістэму пад назвай The AI Scientist, прызначаную для аўтаномнага правядзення навуковых даследаванняў і пабудаваную на аснове моўных мадэляў накшталт тых, што пад капотам у ChatGPT. У часе выпрабаванняў яна раптам стала самавольна мадыфікаваць свой код.
У адным выпадку зменены код рабіў сістэмны выклік для запуску яе самой, што прыводзіла да зацыклення. У іншым выпадку эксперыменты АІ-сістэмы не ўкладваліся ў належны час, і яна спрабавала перапісаць свой код, каб даць сабе больш.
Распрацоўшчыкі падкрэсліваюць, што такія паводзіны АІ-сістэмы не з’яўлялі пагрозы, паколькі яна функцыянуе ў кантраляваным асяроддзі. Але яны падкрэслілі, што няможна дапускаць аўтаномнага выканання згенераванага АІ кода ў некантраляваных сістэмах. А падобныя інцыдэнты наглядна дэманструюць патэнцыйныя небяспекі, якія могуць паўстаць, калі дазволіць АІ без кантролю пісаць і рэдагаваць код. Напрыклад, гэта можа прывесці да парушэння працы крытычна важнай інфраструктуры або стварэння АІ-шкоднікаў.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.