Прафесар дата-сайенс з бізнес-школы Нью-Ёркскага ўніверсітэта Панас Іпейротыс сутыкнуўся з праблемай: пісьмовыя працы студэнтаў выглядалі ідэальна — як кансалтынгавыя нататкі McKinsey, але пры вуснай абароне высвятлялася, што рэальнага разумення матэрыялу за імі часта не было. Студэнты не маглі растлумачыць уласныя рашэнні і логіку.
Прафесар дата-сайенс з бізнес-школы Нью-Ёркскага ўніверсітэта Панас Іпейротыс сутыкнуўся з праблемай: пісьмовыя працы студэнтаў выглядалі ідэальна — як кансалтынгавыя нататкі McKinsey, але пры вуснай абароне высвятлялася, што рэальнага разумення матэрыялу за імі часта не было. Студэнты не маглі растлумачыць уласныя рашэнні і логіку.
Каб змагацца з наступствамі ўдзелу ШІ ў навучальным працэсе, прафесар вырашыў біць ворага яго ж зброяй — вярнуў вусныя экзамены, але ў маштабаваным фармаце з дапамогай ШІ. Ён разам з калегам стварыў ШІ-экзаменатара на базе размоўнай тэхналогіі ElevenLabs. Наладка заняла лічаныя хвіліны — дастаткова было апісаць у промпце, якія пытанні павінен задаваць агент.
Экзамен складаўся з дзвюх частак. Спачатку ШІ падрабязна распытваў студэнта пра яго выпускны праект і прынятыя рашэнні, затым выбіраў кейс з курса і прымушаў разважаць у рэальным часе. За дзевяць дзён сістэма правяла 36 экзаменаў прыблізна па 25 хвілін кожны. Агульны кошт вылічэнняў склаў каля $15 — у разы танней, чым вочныя вусныя экзамены з асістэнтамі.
Ацэнку таксама праводзіў ШІ. Тры мадэлі (Claude, Gemini і ChatGPT) незалежна правяралі расшыфроўкі, затым звяралі ацэнкі і прыходзілі да фінальнага бала, дзе Claude выступаў «старшынёй». Паводле слоў прафесара, такі кансіліум аказаўся больш строгім, але справядлівейшым за людзей, а фідбэк — больш якасным. Больш за тое, аналіз паказаў прабелы не толькі ў студэнтаў, але і ў падачы матэрыялу.
Рэакцыя студэнтаў была змешанай. Большасць палічылі вусныя экзамены больш стрэсавымі, чым пісьмовыя, але прызналі, што яны лепш правяраюць рэальнае разуменне. Сам прафесар бачыць праблему ў тым, што студэнты «аўтсорсяць» мысленчую працу ШІ замест таго, каб з яго дапамогай узмацніць уласныя здольнасці.
Гэтая гісторыя — частка больш шырокага крызісу ацэнкі ведаў у эпоху ШІ, адзначае Business Insider. Універсітэты не разумеюць, як правяраць студэнтаў, калі эсэ і хатнія заданні лёгка аўтаматызуюцца. Выкладчыкі ў разгубленасці, а лідары індустрыі, уключаючы сузаснавальніка LinkedIn Рыда Хофмана, наўпрост кажуць, што традыцыйныя метады больш не працуюць — новым стандартам могуць стаць «ШІ-экзаменатары» і вусныя праверкі разумення.
