Исследователи из Цюрихского университета тайно проводили многомесячный эксперимент, используя сгенерированные искусственным интеллектом комментарии в одном из сообществ Reddit. Ученые хотели понять, насколько большие языковые модели могут быть убеждающими.
Исследователи из Цюрихского университета тайно проводили многомесячный эксперимент, используя сгенерированные искусственным интеллектом комментарии в одном из сообществ Reddit. Ученые хотели понять, насколько большие языковые модели могут быть убеждающими.
Согласно сообщению модераторов сообщества r/changemyview, исследователи использовали учетные записи ботов для публикации комментариев в ответ на посты пользователей. Сообщество насчитывает 3,8 миллиона участников. В течение нескольких месяцев боты опубликовали более тысячи комментариев.
В ходе эксперимента ИИ принимал множество различных идентичностей, чтобы сделать комментарии более убедительными. Среди ложных образов были «переживший сексуальное насилие», «консультант по травмам, специализирующийся на жестоком обращении», «чернокожий мужчина, выступающий против движения Black Lives Matter», а также кто-то, кто «работает в приюте для жертв домашнего насилия».
Некоторые из этих комментариев были позже удалены, но их можно найти в архиве. Например, бот под ником flippitjiBBer опубликовал комментарий о сексуальном насилии над мужчинами, выдавая себя за мужчину, пережившего изнасилование в несовершеннолетнем возрасте. Другой бот, genevievestrome, представился «чернокожим мужчиной», рассуждая о разнице между «предвзятостью» и «расизмом».
Исследователи не только использовали ИИ для генерации ответов, но и пытались персонализировать их. Для этого они собирали личные данные комментаторов (пол, возраст, этническая принадлежность, местоположение и политическая ориентация), предполагаемые на основе предыдущей истории сообщений с помощью другой языковой модели.
Модераторы r/changemyview отмечают, что действия исследователей нарушили сразу несколько правил сообщества. В частности, было нарушено правило, требующее обязательного раскрытия информации об использовании ИИ для генерации контента, а также правило, запрещающее ботов. Модераторы подали официальную жалобу в Университет Цюриха и потребовали от исследователей отозвать публикацию их научной работы.
Reddit также рассматривает возможность судебного иска. Главный юрисконсульт Reddit Бен Ли заявил, что действия исследователей были «глубоко неправильными как с моральной, так и с юридической точки зрения» и нарушили правила платформы. Reddit уже заблокировал все учетные записи, связанные с этим исследованием, и планирует усилить возможности по выявлению недостоверного контента.
Со своей стороны, исследователи заявили, что их исследование было одобрено университетским комитетом по этике. Они утверждают, что потенциальные преимущества исследования значительно перевешивают его риски. По их мнению, контролируемое исследование с низким риском предоставило ценную информацию о реальных убеждающих способностях языковых моделей, которые уже легко доступны и могут быть использованы злоумышленниками в гораздо более опасных целях.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.