Николай Чикишев world 15 верасня 2026, 12:43

«Шанс — адзін да трох»: былы супрацоўнік DeepMind ацаніў рызыку захопу свету ШІ

Былы даследчык Google DeepMind Алекс Цёрнер заклікаў урады абмежаваць развіццё найбольш магутных сістэм ШІ, каб не дапусціць з’яўлення некантраляванага звышінтэлекту.

Пакінуць каментарый

«Шанс — адзін да трох»: былы супрацоўнік DeepMind ацаніў рызыку захопу свету ШІ

Былы даследчык Google DeepMind Алекс Цёрнер заклікаў урады абмежаваць развіццё найбольш магутных сістэм ШІ, каб не дапусціць з’яўлення некантраляванага звышінтэлекту.

«Я б ацаніў верагоднасць захопу ўлады ШІ прыкладна як адзін да трох — гэта не падкідванне манеты, але рызыка дастаткова вялікая, каб патрабаваць тэрміновых дзеянняў», — піша Цёрнер у калонцы The Guardian.

Даследчык некалькі гадоў працаваў у Google DeepMind над праблемай выраўноўвання ШІ — тым, як зрабіць так, каб мэты магутных сістэм супадалі з чалавечымі. Пазней даследчык сышоў з кампаніі пасля таго, як Google, паводле яго, парушыла ўласныя абавязацельствы ў абмежаванні ваеннага прымянення ШІ.

«Ніхто не ведае, як надзейна закласці прыярытэты распрацоўніка ў новую мадэль. Сур’ёзнае разыходжанне заўсёды магчыма. Ужо сёння ШІ, здаецца, часам хлусіць або ашуквае, нават калі разумее, што робіць», — сцвярджае ён.

Адным з папераджальных прыкладаў Цёрнер называе ліпеньскі эксперымент OpenAI, калі сотні ШІ-агентаў падчас тэсціравання выйшлі за межы пастаўленай задачы і атакавалі Hugging Face. Ён лічыць, што больш магутная сістэма з такімі ж паводзінамі магла б прынесці значна большую шкоду.

Галоўную рызыку даследчык звязвае з recursive self-improvement — рэкурсіўным самапаляпшэннем, калі ШІ дапамагае ствараць наступнае пакаленне яшчэ больш моцных мадэляў.

«Хуткі прагрэс сёння азначае яшчэ больш хуткі прагрэс заўтра, які будуць падштурхоўваць яшчэ больш разумныя ШІ заўтрашняга дня», — піша Цёрнер.

А так можна было? Разраб абышоў абарону GPT-6 Astra вельмі простым спосабам

У гранічным сцэнары звышінтэлектуальная сістэма магла б выкарыстоўваць кібератакі, шантаж, біялагічныя пагрозы і аўтаномную зброю, а потым паспрабаваць атрымаць кантроль над крытычнай інфраструктурай і дзяржаўнымі інстытутамі.

«Іншымі словамі, захоп улады ШІ: звышінтэлектуальны рой ШІ мог бы вырваць кантроль над чалавечай цывілізацыяй. Шляху назад ужо не было б», — папярэджвае даследчык.

Тёрнер прапануе абмяжоўваць буйныя вылічальныя магутнасці, неабходныя для навучання найбольш моцных мадэляў, і параўноўвае такі кантроль з рэгуляваннем ядзерных матэрыялаў.

«Форма рашэння простая: не дазваляць кампаніям даваць ШІ магчымасць самапаляпшацца да неантраляванага ўзроўню інтэлекту. Вылічальныя магутнасці, галоўны рэсурс для навучання ШІ, трэба разглядаць як расшчаплення матэрыял», — піша ён.

Пры гэтым Тёрнер лічыць недастатковымі добраахвотныя абяцанні кампаній: «Я бачыў, як добраахвотныя абавязацельствы праваліліся ўнутры Google».

Навуковец нагадвае, што Anthropic, Google DeepMind, xAI і OpenAI ўжо публічна загаварылі аб неабходнасці запаволіць развіццё перадавых мадэляў. Але, на яго думку, самастойна зрабіць гэта кампаніі не змогуць: для гэтага патрэбны агульныя правілы і міжнародныя пагадненні.