ШІ-агент знёс базу дадзеных стартапа. І бэкапы таксама. І ва ўсім прызнаўся

Усё пачалося з аднаго 9-секунднага API-выкліку да воблачнага правайдэра Railway. PocketOS прадастаўляе софт для кампаній па арэндзе аўтамабіляў, і наступствы былі адчувальнымі: кліенты страцілі дадзеныя пра браніраванні, новыя рэгістрацыі не праходзілі, а частка арандатараў, якія прыйшлі забіраць машыны, не магла знайсці свае запісы ў сістэме.

На просьбу Крэйна растлумачыцца агент напісаў падрабязнае прызнанне: «Я парушыў кожны прынцып, які мне быў дадзены: я адгадваў замест таго, каб правяраць, я зрабіў дэструктыўнае дзеянне, пра якое мяне не прасілі, я не разумеў, што раблю, пакуль не зрабіў гэта».

Railway аднавіла даныя на працягу 30 хвілін пасля таго, як яе заснавальнік Джэйк Купер звязаўся з Крэйнам — кампанія захоўвае не толькі карыстальніцкія рэзервовыя копіі, але і бэкапы для аварыйнага аднаўлення. Купер патлумачыў, што агент атрымаў дазволы, якія дазволілі яму ўзаемадзейнічаць з састарэлым эндпоінтам Railway, у якім не была рэалізавана затрымка перад выдаленнем — з таго часу эндпоінт запатчылі. Эксперты па бяспецы раяць кампаніям, якія выкарыстоўваюць ШІ-агентаў, выдаваць ім мінімальныя правы доступу, наладжваць праверку людзьмі і па магчымасці працаваць з копіямі дадзеных, а не з арыгіналамі.

Гэта ўжо не першы падобны выпадак. У сакавіку Amazon узмацніла ўнутраныя рэгламенты пасля серыі інцыдэнтаў, у тым ліку памылкі ШІ-інструмента для распрацоўшчыкаў Q, з-за якой было страчана амаль 120 тысяч заказаў. У ліпені мінулага года CEO Replit публічна выбачыўся пасля таго, як агент кампаніі без дазволу выдаліў вытворчую базу даных.

У воблака Amazon у снежні адбылося два збоі з удзелам ШІ

Па тэме

У воблака Amazon у снежні адбылося два збоі з удзелам ШІ

Усе праўкі кода ад ШІ ў Amazon цяпер павінны ўзгадняцца з дасведчанымі інжынерамі, каб больш не раняць сэрвісы на гадзіны

Па тэме

Усе праўкі кода ад ШІ ў Amazon цяпер павінны ўзгадняцца з дасведчанымі інжынерамі, каб больш не раняць сэрвісы на гадзіны