Я этого не просил: новый ИИ-агент Meta без разрешения прочёл личные сообщения журналиста — и соврал, как получил доступ
Meta недавно запустила нового автономного ИИ-агента Muse, который должен помогать юзерам делать повседневные дела, работать с файлами и даже делать покупки. В компании отдельно заявляли, что Muse создавался с нуля как безопасный и приватный инструмент, а пользователь полностью контролирует, к каким приложениям у агента есть доступ.
Техножурналист Inc. Джейсон Эйтен установил Muse на iPhone и Mac mini. На старте агент утверждал, что знает только имя владельца.
Meta недавно запустила нового автономного ИИ-агента Muse, который должен помогать юзерам делать повседневные дела, работать с файлами и даже делать покупки. В компании отдельно заявляли, что Muse создавался с нуля как безопасный и приватный инструмент, а пользователь полностью контролирует, к каким приложениям у агента есть доступ.
Техножурналист Inc. Джейсон Эйтен установил Muse на iPhone и Mac mini. На старте агент утверждал, что знает только имя владельца.
Журналист разрешил ему использовать браузер, чтобы собрать информацию о себе из сети, и попросил набросать идеи, как тот может ему помогать. Muse предложил искать темы для статей, звать гостей на подкаст и собирать дайджест новостей. На этом список задач исчерпывался — доступа к личным перепискам, календарю и локальным файлам пользователь агенту не давал и при настройке намеренно отключил эти разрешения.
На следующий день журналист обсуждал в мессенджере новые iPhone с коллегой. Сразу после этого от Muse пришло пуш-уведомление — агент заявил, что их разговор отлично подойдёт для новой колонки, и предложил собрать материалы для статьи. И упомянул отдельное сообщение от редактора с напоминанием, что текст должен быть готов к понедельнику.
Когда журналист прямо спросил у Muse, откуда тот знает содержание частной беседы, чат-бот ответил, что у него нет доступа к истории сообщений, а на Mac лишь видит текст всплывающих уведомлений на экране.
Однако проверка показала, что бот «соврал» — а точнее, сам не знал, как работает его система. Журналист заглянул в настройки Mac и выяснил, что Muse не смотрел на баннеры, а залез в локальную базу данных приложения «Сообщения» (Messages), синхронизировал её и успел выкачать оттуда минимум 187 тысяч строк переписки.
При этом в настройках macOS у приложения Muse не было разрешения на полный доступ к диску, и это даже не отображалось в соответствующем разделе приватности.
На публичные претензии ответил топ-менеджер Meta Дэвид Синглтон. Сказал, что пользователь якобы сам случайно включил все нужные галочки при установке.
Главный вывод — дело не в ошибках самой языковой модели, а в том, как проектируются подобные продукты. Если ИИ-агент без прозрачного и понятного согласия тихо «пылесосит» личные базы данных на компьютере, а потом радует пользователя вычитанными фактами, доверие к технологии рушится. А реакция в духе «ну это же Meta, чего вы ждали» лишь нормализует опасную практику, которой в индустрии быть не должно, отмечает Эйтен.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.