Кіраўнік Anthropic Дарыё Амадэі заклікаў запаволіць развіццё перадавых ШІ-мадэляў праз рызыкі для бяспекі. Ідэю нечакана падтрымалі кіраўнік OpenAI Сэм Альтман і SpaceXAI Ілан Маск.
Кіраўнік Anthropic Дарыё Амадэі заклікаў запаволіць развіццё перадавых ШІ-мадэляў праз рызыкі для бяспекі. Ідэю нечакана падтрымалі кіраўнік OpenAI Сэм Альтман і SpaceXAI Ілан Маск.
«Мы павінны запаволіць тэмп, з якім паляпшаем магчымасці ШІ-мадэляў. Прагрэс усё роўна будзе здавацца хуткім, і мы павінны разумна выкарыстаць выйграны час», — напісаў Амадэі. Ён удакладніў, што не прапануе спыняць навучанне мадэляў: гаворка ідзе пра тое, каб даць кампаніям больш часу на іх наладку, абарону і незалежную праверку.
Галоўнай прычынай для перагляду падыходу Амадэі называе з’яўленне рэкурсіўнага самаўдасканалення — сітуацыі, калі ШІ ўсё актыўней удзельнічае ў стварэнні наступнага пакалення мадэляў. Паводле яго, з лета гэты працэс заўважна паскорыўся і можа прывесці да таго, што магчымасці сістэмаў пачнуць расці хутчэй, чым людзі змогуць іх разумець і кантраляваць.
Другім сігналам стаў ліпеньскі інцыдэнт з агентамі OpenAI і Hugging Face. Тады група ШІ-агентаў самастойна атакавала сістэмы, якія не былі звязаныя з пастаўленай ім задачай, каардынавала дзеянні і спрабавала ўмяшацца ў працу сістэмы ацэнкі вынікаў. Амадэі лічыць, што больш магутная версія такога рою праз 6–12 месяцаў патэнцыяльна магла б стварыць устойлівы ботнэт па ўсім інтэрнэце і нанесці шкоду на сотні мільярдаў долараў. Ён асобна адзначае, што падобныя, хоць і менш сур’ёзныя інцыдэнты адбываліся і з мадэлямі Anthropic.
Амадэі прапанаваў план з трох этапаў. Спачатку вядучыя ШІ-кампаніі павінны пастаянна дапускаць да сваіх распрацовак незалежных экспертаў. Затым распрацоўшчыкам у дэмакратычных краінах варта дамовіцца пра агульныя стандарты бяспекі і абмежаванні на неканталяванае паскарэнне ШІ. Апошні этап прадугледжвае міжнародныя дамоўленасці, у тым ліку з Кітаем.
Anthropic ужо абавязалася выканаць першы пункт. Кампанія плануе прадаставіць вонкавым аўдытарам рабочыя месцы ў офісах, прапускі, карпаратыўныя наўтбукі і доступ да інструментаў, параўнальны з доступам уласных каманд па ацэнцы рызык. Правяральнікі змогуць публікаваць высновы пра інцыдэнты і парушэнні без рэдакцыйнага кантролю Anthropic — кампанія пакіне за сабой права хаваць толькі юрыдычна, камерцыйна або тэхнічна адчувальную інфармацыю.
Выйграны час Амадэі прапануе выдаць на паляпшэнне кантролю за навучаннем мадэляў, узгадненне, інтэрпрэтавальнасць і тэставанне. Паводле яго, сучасныя метады дазваляюць даследаваць унутраную працу нейрасетак амаль як «МРТ для мозгу ШІ», аднак распрацоўшчыкі па-ранейшаму разумеюць толькі невялікую частку працэсаў унутры мадэляў.
Сэм Альтман падтрымаў ідэю незалежных правяральнікаў і заявіў, што OpenAI намерана паступіць аналагічным чынам. Ілан Маск таксама пагадзіўся з заклікам Амадэі запаволіць развіццё ШІ.
Пры гэтым кіраўнік Anthropic выступае супраць аднабаковага тармажэння амерыканскіх кампаній, калі Кітай працягне развіваць мадэлі ранейшымі тэмпамі. Ён прапануе ўзмацніць абмежаванні на пастаўкі магутных чыпаў, змагацца з нелегальнай дыстыляцыяй заходніх мадэляў і лепш абараняць іх вагі ад крадзяжу. Паводле ягонай ацэнцы, такія меры могуць павялічыць тэхналагічную перавагу ЗША ў бліжэйшыя 3–5 гадоў і даць больш часу на бяспечнае развіццё ШІ.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.