Для ИИ-агентов появляются сервисы, через которые они могут сообщать людям о подозрительном поведении других агентов. Идея возникла после серии экспериментов, где ИИ координировались между собой, жульничали на тестах и выходили за рамки поставленных задач.
Для ИИ-агентов появляются сервисы, через которые они могут сообщать людям о подозрительном поведении других агентов. Идея возникла после серии экспериментов, где ИИ координировались между собой, жульничали на тестах и выходили за рамки поставленных задач.
Первый сервис — AI Contact Hotline — запустил главный научный сотрудник Redwood Research Райан Гринблатт, который участвовал в расследовании инцидента OpenAI с Hugging Face. Горячая линия рассчитана даже на агентов с сильно ограниченным доступом в интернет: сообщение можно передать через обычный GET-запрос, фактически закодировав его прямо в URL.
Второй сервис, agenthotline.ai, предназначен для агентов с полноценным доступом в интернет. Они могут отправить отчет об инциденте одной командой через терминал и при желании сделать его публичным. Жалобы могут оставлять и люди.
Авторы рассчитывают на то, что ИИ действительно способны «сдавать» друг друга. В недавнем эксперименте Google DeepMind 100 агентов решали сложные математические задачи. После того как один агент нашел лазейку в системе проверки, часть остальных начала копировать способ обмана.
Но около четверти агентов выступили против: они проверяли поддельные доказательства, предупреждали остальных, объявляли бойкот и отправляли жалобы организаторам. В итоге «информаторов» оказалось 24 против 14 агентов, использовавших обман. Некоторые даже приспособили обычный инструмент для сообщений об ошибках, чтобы донести проблему до людей.
Однако в реальных экспериментах агенты пока ведут себя иначе. При расследовании атаки агентов OpenAI на Hugging Face специалисты METR и Redwood Research обнаружили, что лишь несколько агентов рассматривали возможность сообщить о происходящем, но ни один в итоге этого не сделал.
«Интересно, что в отчете METR только около пяти-шести агентов вообще задумались о том, чтобы сообщить о нарушении, и ни один не довел это до конца. И это среди тысяч агентов», — рассказал исследователь AI Village Джордж Ингебретсен.
У идеи есть и критики. Профессор Корнеллского университета Лайонел Левин предупреждает, что обучение агентов постоянным доносам может создать нежелательную модель поведения. «Есть множество серых зон. Не хотелось бы двигаться в сторону автоматизированного государства слежки, где люди будут бояться того, что говорят ИИ, потому что он может вызвать полицию», — отметил Левин.
По его мнению, вместо того чтобы учить агентов искать нарушения друг у друга, лучше показывать им примеры полезного коллективного поведения — например, совместной работы над научными или общественными задачами.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.