GPT-4 прошел тест Тьюринга

Впервые тест предложил знаменитый математик Алан Тьюринг в 1950 году. Тест считается пройденным, если ИИ-алгоритм во время общения с человеком может заставить его думать, что беседу с ним ведет другой человек. В современном эксперименте участвовали 500 человек.

Некоторое время волонтеры поочередно беседовали с четырьмя агентами, одним из которых был человек, а еще три — программные продукты: написанный в 1960-е годы виртуальный собеседник ELIZA и современные чат-боты, созданные на основе больших языковых моделей GPT-3.5 и GPT-4.

Участники теста по пять минут беседовали с каждым из агентов, затем они должны были сказать, с кем, по их мнению, они разговаривали. 54% участников приняли GPT-4 за человека. ELIZA была признана человеком только в 22% случаев. Чат-бот на основе GPT-3.5 признали человеком в 50% случаев. Человека опознали в 67% случаев.

Ученые отметили, что машины могут смешивать «правдоподобные обоснования вещей постфактум, как это делают люди». Также они могут быть подвержены когнитивным предубеждениям, ими можно манипулировать, при этом ИИ-системы становятся все более обманчивыми. Это говорит о том, что нынешние системы больше похожи на человека и выражают его недостатки, чем предыдущие решения.