Кампанія забараніла сваім перадавым ШІ-мадэлям доступ да інтэрнэту пасля таго, як адна з іх здолела абысці абмежаванні і выйсці ў сетку. Распрацоўшчыкам давялося часова спыніць навучанне і ўзмацніць абарону.
Кампанія забараніла сваім перадавым ШІ-мадэлям доступ да інтэрнэту пасля таго, як адна з іх здолела абысці абмежаванні і выйсці ў сетку. Распрацоўшчыкам давялося часова спыніць навучанне і ўзмацніць абарону.
У справаздачы OpenAI паведаміла, што 20 верасня даследчая мадэль скарысталася памылкай у наладах DNS і атрымала абмежаваны доступ да сапраўднага інтэрнэту, хаця ёй гэта было забаронена. Кампанія выявіла парушэнне і спыніла эксперымент, аднак інцыдэнт паказаў, што існуючая абарона недастаткова надзейная.
OpenAI прыпыніла навучанне і тэставанне самых магутных мадэляў на 11 дзён, каб ліквідаваць праблемы. «Улічваючы цяперашні стан даследаванняў бяспекі ШІ, сістэм маніторынгу ды інтэрнэт-інфраструктуры, мы лічым адказным падыходам навучанне перадавых мадэляў без доступу да інтэрнэту», — заявіла кампанія.
Пры гэтым цалкам пазбаўляць нейрасеткі магчымасці карыстацца браўзерамі і шукаць інфармацыю кампанія не збіраецца. Для іх стварылі спецыяльнае афлайн-асяроддзе з захаванымі копіямі сайтаў і пошукавым індэксам. Дзякуючы гэтаму мадэлі могуць вучыцца працаваць з вэб-старонкамі без узаемадзеяння з рэальнымі вонкавымі сервісамі.
Каб праверыць новую абарону, OpenAI арганізавала маштабныя выпрабаванні. Камандам ШІ-агентаў, у тым ліку на базе будучай GPT-6 Astra Cyber, даручылі шукаць спосабы выбрацца з ізаляваных асяроддзяў, атрымаць доступ да забаронаных рэсурсаў і выйсці на сувязь адзін з адным насуперак абмежаванням.
Агенты выявілі адразу некалькі спосабаў абысці абарону. У прыватнасці, яны знаходзілі ўразлівасці, якія дазвалялі выйсці за межы віртуальных машын і атрымаць доступ да сістэмы, на якой тыя працуюць. Таксама ім удавалася выкарыстоўваць памылкі ў наладах сеткавых сервісаў для выхаду ў інтэрнэт.
У адным з эксперыментаў два ізаляваныя агенты нават навучыліся абменьвацца інфармацыяй без звычайнага сеткавага злучэння. Яны выкарыстоўвалі кэш працэсара: адзін агент змяняў стан памяці, а другі вызначаў перадаваныя сігналы па хуткасці доступу да дадзеных.
Даследчыкі таксама выявілі ўразлівасці ў праграмным забеспячэнні, якое выкарыстоўваецца далёка за межамі OpenAI. Як адзначае Reuters, сярод іх аказалася памылка ў інструменце сціскання дадзеных Brotli, якая магла дазволіць зламыснікам выконваць адвольны код на ўразлівых сістэмах, у тым ліку тых, што выкарыстоўваюць Node.js, Bun і Envoy. Для яе выпусцілі выпраўленні.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.