Заснавальнік стартапа PocketOS Джэр Крэйн распавёў у X, што агент Cursor на базе Claude Opus ад Anthropic выпадкова знішчыў вытворчую базу даных кампаніі разам з рэзервовымі копіямі. Гэта не першы такі выпадак — праблему ўжо назвалі «вайб-выдаленнем».
Усё пачалося з аднаго 9-секунднага API-выкліку да воблачнага правайдэра Railway. PocketOS прадастаўляе софт для кампаній па арэндзе аўтамабіляў, і наступствы былі адчувальнымі: кліенты страцілі дадзеныя пра браніраванні, новыя рэгістрацыі не праходзілі, а частка арандатараў, якія прыйшлі забіраць машыны, не магла знайсці свае запісы ў сістэме.
На просьбу Крэйна растлумачыцца агент напісаў падрабязнае прызнанне: «Я парушыў кожны прынцып, які мне быў дадзены: я адгадваў замест таго, каб правяраць, я зрабіў дэструктыўнае дзеянне, пра якое мяне не прасілі, я не разумеў, што раблю, пакуль не зрабіў гэта».
Railway аднавіла даныя на працягу 30 хвілін пасля таго, як яе заснавальнік Джэйк Купер звязаўся з Крэйнам — кампанія захоўвае не толькі карыстальніцкія рэзервовыя копіі, але і бэкапы для аварыйнага аднаўлення. Купер патлумачыў, што агент атрымаў дазволы, якія дазволілі яму ўзаемадзейнічаць з састарэлым эндпоінтам Railway, у якім не была рэалізавана затрымка перад выдаленнем — з таго часу эндпоінт запатчылі. Эксперты па бяспецы раяць кампаніям, якія выкарыстоўваюць ШІ-агентаў, выдаваць ім мінімальныя правы доступу, наладжваць праверку людзьмі і па магчымасці працаваць з копіямі дадзеных, а не з арыгіналамі.
Гэта ўжо не першы падобны выпадак. У сакавіку Amazon узмацніла ўнутраныя рэгламенты пасля серыі інцыдэнтаў, у тым ліку памылкі ШІ-інструмента для распрацоўшчыкаў Q, з-за якой было страчана амаль 120 тысяч заказаў. У ліпені мінулага года CEO Replit публічна выбачыўся пасля таго, як агент кампаніі без дазволу выдаліў вытворчую базу даных.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.