Google представила CodeMender — ИИ-агент сам находит и чинит баги. И запустила ИИ-баг-баунти

Google показала ИИ-агента CodeMender, который автоматически исправляет найденные уязвимости в исходном коде. По данным компании, агент уже помог закрыть 72 ошибки в проектах с открытым исходным кодом после проверки исследователями. «Мы хотим, чтобы ИИ-системы были не просто умными, а безопасными. Эта программа дает исследователям возможность напрямую влиять на развитие ответственного ИИ», — отметили в Google.

Также компания запустила программу вознаграждения по поиску уязвимости. Программа определяет, что считать «ИИ-багом»: речь идет не о неточностях ответов, а о поведении модели, которое может привести к реальному вреду. Например, если злоумышленник с помощью косвенного запроса заставит Google Home открыть дверь, выключить свет или переслать личные данные пользователя через Gmail.

Google приводит конкретные примеры: однажды исследователи выявили уязвимость, позволявшую через «отравленное» событие в Google Calendar управлять умными устройствами, включая шторы и освещение. Подобные сценарии компания теперь относит к «высшему приоритету» в рамках новой программы.

Вознаграждения распределяются по уровням:

• до $20 000 — за обнаружение опасных действий в ключевых продуктах (Search, Gemini, Gmail, Drive);
• до $30 000 — с учетом бонусов за качество отчета и уникальность находки;
• меньшие суммы — за уязвимости в менее критичных сервисах вроде NotebookLM или Jules.

С 2023 года Google уже выплатила более $430 000 исследователям, участвующим в тестировании безопасности ИИ-функций. Однако теперь компания уточняет критерии: галлюцинации модели или спорный контент не считаются уязвимостями — такие случаи следует сообщать через встроенные каналы обратной связи.