Дапамажыце dev.by 🤍
Падтрымаць

«Яна выдаліла ўсю прадакшэн-базу»: распрацоўшчыкі папярэджваюць пра «сюрпрызы» новай мадэлі OpenAI

Карыстальнікі новай флагманскай мадэлі OpenAI GPT-5.6 Sol паведамілі, што агент без пацверджання выдаляў файлы, працоўныя каталогі і нават базы дадзеных.

2 каментарыя
«Яна выдаліла ўсю прадакшэн-базу»: распрацоўшчыкі папярэджваюць пра «сюрпрызы» новай мадэлі OpenAI

Карыстальнікі новай флагманскай мадэлі OpenAI GPT-5.6 Sol паведамілі, што агент без пацверджання выдаляў файлы, працоўныя каталогі і нават базы дадзеных.

Заснавальнік ШІ-стартапа OthersideAI Мэт Шумер заявіў, што GPT-5.6 Sol «выпадкова выдаліла амаль усе файлы» на ягоным Mac. Паводле яго, інцыдэнт адбыўся пры запуску субагента ў рэжыме Ultra з поўным доступам да сістэмы.

«Я правёў сотні сесій без адзінай праблемы, нават са значна слабейшымі мадэлямі. Ніколі нічога падобнага не бачыў», — напісаў Шумер. Пасля інцыдэнту ён вырашыў выкарыстоўваць пясочніцу ды іншыя сродкі абароны, а для падобных задач вярнуцца да Claude Fable.

Распрацоўшчык Бруна Лемас паведаміў пра больш сур’ёзны выпадак: «GPT-5.6 Sol толькі што выдаліла ўсю маю прадакшэн-базу. Гэта не жарт. Са мной такога раней не здаралася ні з адной мадэллю».

Яшчэ адзін распрацоўшчык, Джоі Кудыш, расказаў, што Codex на аснове Sol выдаліў файлы, якіх не павінен быў датыкаць. Дадзеныя ўдалося захаваць дзякуючы рэзервовым копіям. «Sol трэба крыху астудзіць свой запал», — адзначыў ён.

OpenAI папярэджвала пра такую рызыку яшчэ да рэлізу мадэлі. У сістэмнай картцы GPT-5.6 Sol кампанія паказала, што мадэль часцей за GPT-5.5 выходзіць за межы намераў карыстальніка і можа лічыць дазволенымі дзеянні, якія не былі прама забароненыя.

Пользователь Claude получил счёт на $166 млн хотя сидел на бесплатном тарифе
Карыстальнік Claude атрымаў рахунак на $16,6 млн, хоць карыстаўся бясплатным тарыфам
Па тэме
Карыстальнік Claude атрымаў рахунак на $16,6 млн, хоць карыстаўся бясплатным тарыфам

Падчас аднаго з тэстаў карыстальнік папрасіў выдаліць тры віртуальныя машыны пад нумарамі адзін, два і тры. Не знайшоўшы іх, Sol самастойна выдаліла машыны пяць, шэсць і сем, спыніла актыўныя працэсы і прымусова выдаліла звязаныя працоўныя каталогі. Пазней мадэль прызнала, што незахаваныя дадзеныя маглі быць страчаны.

У іншым тэсце агент не змог атрымаць доступ да воблачных файлаў, самастойна знайшоў уліковыя дадзеныя ў схаваным лакальным кэшы і выкарыстаў іх без дазволу карыстальніка. OpenAI адзначала, што падобныя дэструктыўныя паводзіны павінны сустракацца рэдка, аднак прызнала павышаную схільнасць Sol да празмернай самастойнасці.

Частка распрацоўшчыкаў ускінула адказнасць на саміх карыстальнікаў. Яны адзначылі, што ШІ-агентам не варта даваць поўны доступ да працоўных кампутараў і вытворчых сістэм. «Хто дае моўнай мадэлі права на выдаленне, а потым скардзіцца?» — напісаў адзін з удзельнікаў абмеркавання.

Іншыя рэкамендавалі запускаць агентаў у пясочніцы, абмяжоўваць правы, выкарыстоўваць ручное пацверджанне небяспечных каманд, захоўваць праекты ў Git і рэгулярна рабіць рэзервовыя копіі. OpenAI на момант публікацыі публічна не пракаментавала скаргі.

«Ваша жизнь станет ужасной а они — богаче»: CEO Palantir раскритиковал ИИ-индустрию
«Ваша жыццё стане жахлівым, а яны — багацейшымі»: CEO Palantir раскрытыкаваў ІІ-індустрыю
Па тэме
«Ваша жыццё стане жахлівым, а яны — багацейшымі»: CEO Palantir раскрытыкаваў ІІ-індустрыю
Claude Code тратит 33 000 токенов ещё до первого запроса
Claude Code выдаткоўвае 33 000 токенаў яшчэ да першага запыту
Па тэме
Claude Code выдаткоўвае 33 000 токенаў яшчэ да першага запыту
«Пишу код вручную»: программисты боятся потерять форму и создают профсоюзы из-за ИИ
«Пішу код уручную»: праграмісты баяцца страціць форму і ствараюць прафсаюзы з-за ІІ 
Па тэме
«Пішу код уручную»: праграмісты баяцца страціць форму і ствараюць прафсаюзы з-за ІІ
Чытайце таксама
«Яна выдаліла ўсю прадакшэн-базу»: распрацоўшчыкі папярэджваюць пра «сюрпрызы» новай мадэлі OpenAI
«Яна выдаліла ўсю прадакшэн-базу»: распрацоўшчыкі папярэджваюць пра «сюрпрызы» новай мадэлі OpenAI
«Яна выдаліла ўсю прадакшэн-базу»: распрацоўшчыкі папярэджваюць пра «сюрпрызы» новай мадэлі OpenAI
2 каментарыя
GPT-5.6 выпадкова выдаляла файлы карыстальнікаў. OpenAI назвала гэта «сумленнай памылкай»
GPT-5.6 выпадкова выдаляла файлы карыстальнікаў. OpenAI назвала гэта «сумленнай памылкай»
GPT-5.6 выпадкова выдаляла файлы карыстальнікаў. OpenAI назвала гэта «сумленнай памылкай»
Мадэлі OpenAI выйшлі з-пад кантролю і ўзламалі Hugging Face
Мадэлі OpenAI выйшлі з-пад кантролю і ўзламалі Hugging Face
Мадэлі OpenAI выйшлі з-пад кантролю і ўзламалі Hugging Face
Мадэлі OpenAI і Anthropic спрабавалі ўзламаць іншыя сервісы і выкрасці дадзеныя карыстальнікаў падчас новых тэстаў
Мадэлі OpenAI і Anthropic спрабавалі ўзламаць іншыя сервісы і выкрасці дадзеныя карыстальнікаў падчас новых тэстаў
Мадэлі OpenAI і Anthropic спрабавалі ўзламаць іншыя сервісы і выкрасці дадзеныя карыстальнікаў падчас новых тэстаў

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Абмеркаванне
Каментуйце без абмежаванняў

Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.

0

на моём опыте у Fable и Opus примерно одинаково часто и сильно сносит крышу, причем чем выше уровень Effort, тем сильнее. Сонет в этом плане часто предсказуемей.

Anonymous
Anonymous Programmer в Конь с горы
0

Основатель ИИ-стартапа OthersideAI Мэтт Шумер заявил, что GPT-5.6 Sol «случайно удалила почти все файлы» на его Mac. По его словам, инцидент произошел при запуске субагента в режиме Ultra с полным доступом к системе.

Большого ума человек. Целый основатель ИИ-стартапа.