Профессор дата-сайенс из бизнес-школы Нью-Йоркского университета Панос Ипейротис столкнулся с проблемой: письменные работы студентов выглядели идеально — как консалтинговые заметки McKinsey, но при устной защите выяснялось, что реального понимания материала за ними часто не было. Студенты не могли объяснить собственные решения и логику.
Профессор дата-сайенс из бизнес-школы Нью-Йоркского университета Панос Ипейротис столкнулся с проблемой: письменные работы студентов выглядели идеально — как консалтинговые заметки McKinsey, но при устной защите выяснялось, что реального понимания материала за ними часто не было. Студенты не могли объяснить собственные решения и логику.
Чтобы бороться с последствиями участия ИИ в учебном процессе, профессор решил бить врага его же оружием — вернул устные экзамены, но в масштабируемом формате с помощью ИИ. Он вместе с коллегой создал ИИ-экзаменатора на базе разговорной технологии ElevenLabs. Настройка заняла считаные минуты — достаточно было описать в промпте, какие вопросы должен задавать агент.
Экзамен состоял из двух частей. Сначала ИИ подробно расспрашивал студента о его выпускном проекте и принятых решениях, затем выбирал кейс из курса и заставлял рассуждать в реальном времени. За девять дней система провела 36 экзаменов примерно по 25 минут каждый. Общая стоимость вычислений составила около $15 — в разы дешевле, чем очные устные экзамены с ассистентами.
Оценку тоже проводил ИИ. Три модели (Claude, Gemini и ChatGPT) независимо проверяли расшифровки, затем сверяли оценки и приходили к финальному баллу, где Claude выступал «председателем». По словам профессора, такой консилиум оказался строже, но справедливее людей, а фидбэк — более качественным. Более того, анализ показал пробелы не только у студентов, но и в подаче материала.
Реакция студентов была смешанной. Большинство сочли устные экзамены более стрессовыми, чем письменные, но признали, что они лучше проверяют реальное понимание. Сам профессор видит проблему в том, что студенты «аутсорсят» мыслительную работу ИИ вместо того, чтобы с помощью него усилить собственные способности.
Эта история — часть более широкого кризиса оценки знаний в эпоху ИИ, отмечает Business Insider. Университеты не понимают, как проверять студентов, если эссе и домашки легко автоматизируются. Преподаватели в растерянности, а лидеры индустрии, включая сооснователя LinkedIn Рида Хоффмана, прямо говорят, что традиционные методы больше не работают — новым стандартом могут стать «ИИ-экзаменаторы» и устные проверки понимания.
