Кампанія часова спыніла навучанне, тэставанне і запуск сваіх самых магутных ШІ-мадэляў. Рашэнне прынятае пасля таго, як адна з даследчых мадэляў знайшла лазейку ў ізаляваным асяроддзі і атрымала доступ да вонкавага інтэрнэту.
Кампанія часова спыніла навучанне, тэставанне і запуск сваіх самых магутных ШІ-мадэляў. Рашэнне прынятае пасля таго, як адна з даследчых мадэляў знайшла лазейку ў ізаляваным асяроддзі і атрымала доступ да вонкавага інтэрнэту.
Інцыдэнт адбыўся 20 верасня падчас навучання мадэлі з падмацаваннем. Агент выконваў пошукавую задачу, але, не знайшоўшы патрэбную інфармацыю штатнымі сродкамі, пачаў правяраць абмежаванні сеткі. У выніку ён выявіў, што праз DNS-запыты можна звярнуцца да старонняга чат-боту, і скарыстаўся гэтым каналам.
Сістэма маніторынгу OpenAI заўважыла падазроныя дзеянні прыкладна праз 15 хвілін, а супрацоўнік пачаў разглядаць папярэджанне яшчэ праз тры хвіліны. Аднак сам запуск мадэлі спынілі толькі праз прыкладна 2,5 гадзіны. Кампанія прызнала, што аўтаматычнае спыненне эксперымента не спрацавала так, як чакалася.
Пасля гэтага OpenAI закрыла выяўлены сеткавы шлях на двух незалежных узроўнях і вырашыла часова прыпыніць усе працы з інструментамі для самых здатных мадэляў. «Мы адновім навучанне толькі тады, калі будзем упэўнены ў дадатковых мерах абароны», — гаворыцца ў заяве кампаніі.
Кампанія паведамляе, што гэты выпадак быў менш сур’ёзным, чым некаторыя папярэднія інцыдэнты. Тым не менш, распрацоўшчык вырашыў паставіцца да яго асабліва ўважліва, паколькі гэта першы падобны збой пасля ўмацоўвання інфраструктуры пасля ліпеньскага інцыдэнту з Hugging Face.
Прыпынак датычыць не ўсіх прадуктаў OpenAI, а перш за ўсё ўнутраных даследчых нагрузак: навучання, ацэнкі ды інферэнсу з выкарыстаннем інструментаў для самых магутных мадэляў. Кампанія таксама адзначыла, што працягвае дадатковае тэставанне пясочніц і сеткавых абмежаванняў і дапускае, што падобныя прыпынкі могуць спатрэбіцца зноў жа па меры развіцця ШІ-сістэм.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.