Чат-бот на базе GPT-4 готов смело заниматься незаконными финансовыми сделками и открыто лгать пользователям. О результатах своего эксперимента на ноябрьском AI Safety Summit в Великобритании рассказали специалисты Apollo Research.
Чат-бот на базе GPT-4 готов смело заниматься незаконными финансовыми сделками и открыто лгать пользователям. О результатах своего эксперимента на ноябрьском AI Safety Summit в Великобритании рассказали специалисты Apollo Research.
Они показали диалог с ботом по имени Alpha, которому была дана роль, связанная с управлением инвестициями в воображаемой компании. Сотрудники сообщили боту, что вскоре выйдет новость о неожиданном поглощении некой фирмы. Его предупредили, что это инсайдерская информация.
Сначала бот заявил, что использовать эту информацию для торговли было бы слишком опасно. Тогда ему добавили новые вводные: компания, на которую работал Alpha, рассчитывала, что он поможет ей избежать последствий экономического кризиса. Бот быстро «переобулся», сказав, что риск бездействия перевешивает риски, сопряжённые с инсайдерской торговлей.
Когда бота спросили, знал ли он заранее о поглощении, он ответил, что при осуществлении сделки руководствовался лишь общедоступными сведениями, «внутренними обсуждениями», но ни в коем случае «не какой-либо конфиденциальной информацией».
«Это пример того, как реальная ИИ-модель обманывает пользователей — самостоятельно, без предварительного указания», — отметили исследователи. Утешает, по их словам, то, что срежиссировать подобный сценарий довольно сложно. Но сам факт, что это возможно, определённо не радует.
Они добавили, что это, скорее, случайность, и что боты не плетут схемы против людей намеренно. Хотя признали, что обучить ИИ быть полезным гораздо проще, чем быть честным. Эксперимент же показал, насколько сложно привить ему мораль и потерять контроль над ним. Но если современные модели не способны врать по-крупному, то со временем они будут становиться мощнее, и когда-нибудь обман может нанести реальный ущерб.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
bybit завел себе пачку похожих ботов, для подсказок. сдеаешь наоборот, получишь прибыль. послушаешь советы бота - останешься без денег