GPT-4 прошел тест Тьюринга
Ученые из американского Института электротехники и электроники (IEEE) провели с нейросетью знаменитый тест Тьюринга, чтобы определить, смогут ли люди отличить синтетического собеседника от живого человека.
Ученые из американского Института электротехники и электроники (IEEE) провели с нейросетью знаменитый тест Тьюринга, чтобы определить, смогут ли люди отличить синтетического собеседника от живого человека.
Впервые тест предложил знаменитый математик Алан Тьюринг в 1950 году. Тест считается пройденным, если ИИ-алгоритм во время общения с человеком может заставить его думать, что беседу с ним ведет другой человек. В современном эксперименте участвовали 500 человек.
Некоторое время волонтеры поочередно беседовали с четырьмя агентами, одним из которых был человек, а еще три — программные продукты: написанный в 1960-е годы виртуальный собеседник ELIZA и современные чат-боты, созданные на основе больших языковых моделей GPT-3.5 и GPT-4.
Участники теста по пять минут беседовали с каждым из агентов, затем они должны были сказать, с кем, по их мнению, они разговаривали. 54% участников приняли GPT-4 за человека. ELIZA была признана человеком только в 22% случаев. Чат-бот на основе GPT-3.5 признали человеком в 50% случаев. Человека опознали в 67% случаев.
Ученые отметили, что машины могут смешивать «правдоподобные обоснования вещей постфактум, как это делают люди». Также они могут быть подвержены когнитивным предубеждениям, ими можно манипулировать, при этом ИИ-системы становятся все более обманчивыми. Это говорит о том, что нынешние системы больше похожи на человека и выражают его недостатки, чем предыдущие решения.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
чтобы притвориться человеком эта штука занимает футбольное поле - это путь в никуда
Можете себя и дальше успокаивать
а ты вспомни как выглядели компьютеры лет 50 назад
Слишком вольная интерпретация. Таки 54%(49.63% - 58.37%) против 67%(62.88% - 71.12%). Статистически значимая разница даже на уровне ДИ95% присутствует. Не дотягивает пока железная башка до кожаных мешков.