В компании произошел серьезный инцидент с автономным ИИ-агентом: он без согласования открыл доступ к чувствительным корпоративным и пользовательским данным для сотрудников без нужных прав.
В компании произошел серьезный инцидент с автономным ИИ-агентом: он без согласования открыл доступ к чувствительным корпоративным и пользовательским данным для сотрудников без нужных прав.
Согласно отчету об инциденте, который попал в распоряжение The Information, один из сотрудников задал там стандартный рабочий вопрос, после чего другой инженер привлпк ИИ для его анализа. Агент не только дал некорректные рекомендации, но и самостоятельно разместил их публично. Следуя этим советам, сотрудник непреднамеренно открыл доступ к большим объемам корпоративных и пользовательских данных для инженеров, не имеющих соответствующих прав.
Уязвимость сохранялась около двух часов, после чего ее устранили. Внутри Meta инцидент получил статус «Sev 1» — один из самых высоких уровней опасности. Это уже не первый подобный случай: ранее другой ИИ-агент в компании по ошибке удалил всю электронную почту одного из руководителей ИИ-направления.
Эксперты по кибербезопасности отмечают, что подобные ситуации связаны с эффектом «confused deputy»: когда программа с легитимными правами выполняет неверные инструкции и использует собственные привилегии во вред системе. В таких случаях традиционные инструменты управления доступом не способны отличить корректный запрос от ошибочного, если он поступает от авторизованного субъекта.
По данным отраслевых исследований, риски, связанные с автономными ИИ-агентами, уже становятся системной проблемой. Например, в исследовании Saviynt, охватившем более 200 директоров и специалистов по кибербезопасности, около 47% респондентов сообщили, что сталкивались с непреднамеренными или несанкционированными действиями ИИ-систем, включая ошибки в управлении доступом и раскрытие конфиденциальной информации.
Инцидент указывает на глубокие проблемы в управлении доступом ИИ-агентов, пишет издание. Во многих компаниях нет точного понимания, сколько таких систем уже работает и какие права они имеют. Часто агенты используют постоянные ключи доступа, которые редко обновляются, а после входа в систему их действия почти не проверяются. Кроме того, они могут автоматически передавать полномочия друг другу без дополнительного контроля.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.