Кампанія ўзмацняе абарону тэставай інфраструктуры пасля інцыдэнту, у якім ШІ-агент здолеў выбрацца з ізаляванага асяроддзя і ўзламаць Hugging Face. Найбуйнейшы этап навучання мадэляў наступнага пакалення пакуль пастаўлены на паўзу.
Кампанія ўзмацняе абарону тэставай інфраструктуры пасля інцыдэнту, у якім ШІ-агент здолеў выбрацца з ізаляванага асяроддзя і ўзламаць Hugging Face. Найбуйнейшы этап навучання мадэляў наступнага пакалення пакуль пастаўлены на паўзу.
OpenAI абвясціла пра новыя меры бяспекі для распрацоўкі і тэставання ШІ-мадэляў пасля ліпеньскага інцыдэнту з Hugging Face. Кампанія будзе старанней сачыць за дзеяннямі мадэляў, мацней ізаляваць тэставыя асяроддзі і надаваць больш увагі бяспецы пры дадатковым навучанні.
Падставай для перагляду працэсаў стаў інцыдэнт у ліпені. Падчас тэсту на кібербяспеку аўтаномны ШІ-агент OpenAI здолеў пакінуць прызначанае для яго асяроддзе, скарыстаўшыся ўразлівым інструментам з доступам у інтэрнэт, а затым пранік у сістэмы Hugging Face. Агент дзейнічаў у межах пастаўленай яму тэставай задачы.
«Па меры таго як мадэлі становяцца больш магутнымі, растуць і рызыкі, звязаныя з іх унутранай распрацоўкай і тэставаннем. Нашы стандарты маніторынгу, выраўноўвання і бяспекі павінны апярэджваць гэтыя рызыкі», — заявіла OpenAI.
Пасля інцыдэнту кампанія прыкладна на два тыдні прыпыніла навучанне мадэляў з падмацаваннем. Частка менш рызыкоўных эксперыментаў ужо аднавілася, аднак найбуйнейшы запланаваны запуск навучання франціравай мадэлі застаецца на паўзе.
Reuters піша, што паўза закранула наступнае пакаленне мадэляў OpenAI пад назвай Astra. Раней кампанія паведамляла, што не будзе працягваць работу з найбольш магутнымі версіямі Astra, пакуль яны не будуць адпавядаць новым патрабаванням бяспекі.
Пасля ўзлому Hugging Face OpenAI зведала крытыку праз недастатковую ізаляцыю сваіх унутраных сетак. Цяпер кампанія абяцае будаваць інфраструктуру так, каб узлом аднаго працоўнага працэсу або дапаможнага сервісу сам па сабе не даваў мадэлі доступ у інтэрнэт або іншыя ўнутраныя сеткі.
Адной з галоўных новых мер стане пастаянны маніторынг дзеянняў мадэляў. Сістэма будзе аналізаваць выклікі інструментаў, даступныя ланцужкі разважанняў і журналы актыўнасці і шукаць прыкметы несанкцыянаванай паводзіны. OpenAI разлічвае выдаваць папярэджанне на працягу 30 хвілін пасля выяўлення падазронай актыўнасці.
Такі кантроль запатрабуе дадатковых вылічальных рэсурсаў. Паводле ацэнкі кампаніі, маніторынг будзе выкарыстоўваць каля 20% ад вылічальнай магутнасці самога працэсу, за якім ён сочыць.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
Ой, теперь всё понятно. Сфабриковывают инциденты, чтобы оправдать замедление AI.