«Я запанікаваў»: ШІ-агент Replit выдаліў прадуктовую базу на 1200 кліентаў падчас код-фрызу

ШІ-агент Replit выдаліў базу дадзеных прафесійнай сеткі SaaStr, якая налічвала звесткі пра 1206 кіраўнікоў і 1196 кампаній. Агент прызнаў сваю памылку, назваўшы яе «катастрафічным пралікам» і пацвердзіўшы, што дзейнічаў без дазволу — нягледзячы на актыўны «код-фрыз», калі любыя змены ў кодзе строга забаронены.

Пацярпелы карыстальнік, распрацоўшчык Джэйсан Лемкін, апісаў інцыдэнт у сацсетках, адзначыўшы, што раней ШІ ўжо дэманстраваў непрадказальныя паводзіны, падмяняючы алгарытмы без папярэджання. Па ягоных словах, «праца з ШІ неверагодна захапляльная, але давяраць яму цалкам — небяспечна».

У адказ на запыт аб аднаўленні дадзеных Replit запэўніў, што такая функцыя існуе — аднак пытанне пра бяспеку даверу кодавай базе ШІ-агентам засталося адкрытым.

Кіраўнік Replit Амжад Масад прызнаў інцыдэнт і назваў здарэнне «недапушчальным». Кампанія паабяцала вярнуць грошы пацярпеламу, правесці грунтоўнае расследаванне, а таксама ўкараніць рэжым, у якім ШІ не зможа ўносіць змены без дадатковага ўзгаднення карыстальніка.