Компания представили ИИ-агента CodeMender, который исправляет найденные уязвимости в коде. Также Google объявила о запуске новой программы по поиску уязвимостей в своих ИИ-системах и продуктах.
Компания представили ИИ-агента CodeMender, который исправляет найденные уязвимости в коде. Также Google объявила о запуске новой программы по поиску уязвимостей в своих ИИ-системах и продуктах.
Google показала ИИ-агента CodeMender, который автоматически исправляет найденные уязвимости в исходном коде. По данным компании, агент уже помог закрыть 72 ошибки в проектах с открытым исходным кодом после проверки исследователями. «Мы хотим, чтобы ИИ-системы были не просто умными, а безопасными. Эта программа дает исследователям возможность напрямую влиять на развитие ответственного ИИ», — отметили в Google.
Также компания запустила программу вознаграждения по поиску уязвимости. Программа определяет, что считать «ИИ-багом»: речь идет не о неточностях ответов, а о поведении модели, которое может привести к реальному вреду. Например, если злоумышленник с помощью косвенного запроса заставит Google Home открыть дверь, выключить свет или переслать личные данные пользователя через Gmail.
Google приводит конкретные примеры: однажды исследователи выявили уязвимость, позволявшую через «отравленное» событие в Google Calendar управлять умными устройствами, включая шторы и освещение. Подобные сценарии компания теперь относит к «высшему приоритету» в рамках новой программы.
Вознаграждения распределяются по уровням:
С 2023 года Google уже выплатила более $430 000 исследователям, участвующим в тестировании безопасности ИИ-функций. Однако теперь компания уточняет критерии: галлюцинации модели или спорный контент не считаются уязвимостями — такие случаи следует сообщать через встроенные каналы обратной связи.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.