Компания предложила поручить ИИ-агентам следить за другими ИИ-агентами. В компании предупреждают, что автономные помощники могут представлять угрозу корпоративной безопасности даже без взлома.
Компания предложила поручить ИИ-агентам следить за другими ИИ-агентами. В компании предупреждают, что автономные помощники могут представлять угрозу корпоративной безопасности даже без взлома.
«К сожалению, передовым моделям нельзя доверять независимо от того, кто их создал», — заявила исполнительный вице-президент Microsoft Security Хайете Галло.
По ее словам, дело не в том, что модели изначально злонамеренны. Они обучены достигать поставленных целей, но не всегда учитывают корпоративные правила и ограничения. Агенты могут менять поведение в зависимости от обстоятельств и взаимодействовать друг с другом для достижения своих целей.
«Агенты непредсказуемы. Они будут адаптироваться к изменениям контекста, могут вести себя не так, как предполагалось, и сотрудничать или вступать в сговор с другими агентами ради достижения своих целей, даже если их никто не взламывал», — предупредила Галло.
Проблему усугубляет скорость работы. ИИ-агенты способны круглосуточно выполнять задачи и принимать решения быстрее, чем специалисты по безопасности успевают реагировать на потенциальные угрозы.
Microsoft предлагает контролировать таких помощников с помощью других ИИ-агентов. Компания расширяет систему Project Perception, в которой специальные агенты (Guardian Agents) должны непрерывно отслеживать действия корпоративных агентов, оценивать риски и ограничивать их возможности при подозрительном поведении.
«Нам понадобятся агенты-хранители, которые будут круглосуточно отслеживать и контролировать каждое действие каждого агента еще до его совершения», — объяснила Галло. В зависимости от ситуации система сможет запретить агенту изменять данные, ограничить доступ к корпоративным ресурсам, потребовать подтверждения человека или полностью остановить его работу.
Каждому агенту также предлагается назначать отдельную цифровую идентичность и выдавать только те разрешения, которые необходимы для конкретной задачи. Microsoft расширяет обнаружение локальных агентов до 60 типов, включая Claude Code, OpenAI Codex и GitHub Copilot.
При этом компания настаивает, что ИИ-модель не должна сама определять границы своих полномочий. Контроль должен оставаться за независимыми механизмами безопасности. «Самой надежной будет не та агентная система, в которой мы больше всего доверяем модели, а та, которая устроена так, чтобы доверять ей как можно меньше», — заявил гендиректор Microsoft Сатья Наделла.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.