Модель OpenAI почти не отличить от людей: её приняли за живого собеседника в 3/4 случаев

Тест, предложенный британским математиком Аланом Тьюрингом в 1950 году, служит для оценки способности машины демонстрировать разумное поведение, неотличимое от человеческого. Участники эксперимента общались с собеседниками (одним человеком и одним ботом) в текстовом формате в течение пяти минут, после чего им предлагалось определить, кто из них был человеком. Исследование проводилось среди двух групп: 126 студентов психологического факультета и 158 более взрослых работников компании Prolific.

Особенностью эксперимента стало использование двух типов подсказок для ИИ-моделей: стандартной просьбы убедить собеседника в своей человечности и персонализированной подсказки с заданной ролью, например, «интроверт, который разбирается в интернет-культуре». Именно в режиме с заданной ролью GPT-4.5 показала наилучший результат — 73%. При использовании стандартной подсказки без персоны этот показатель составил лишь 36%.

Для сравнения, другая модель — LLaMa 3.1–405B — в персонализированном режиме была принята за человека в 56% случаев, а без персоны — в 38%. Предыдущая модель OpenAI, GPT-4, в июне 2024 года прошла аналогичный тест с результатом в 54%. Модель GPT-4o показала значительно более низкий результат — всего 21%.

Ведущий автор исследования Кэмерон Джонс из Лаборатории языка и познания Калифорнийского университета в Сан-Диего, отметил, что результаты показывают, что современные большие языковые модели (LLM) могут заменять людей в коротких взаимодействиях без возможности быть распознанными. Он также предостерег, что это может привести к автоматизации рабочих мест, совершенствованию атак социальной инженерии и более широким социальным потрясениям.