Profesor data science z nowojorskiej szkoły biznesu Panos Ipeirotis napotkał problem: pisemne prace studentów wyglądały perfekcyjnie — jak notatki konsultingowe McKinsey, ale podczas ustnej obrony okazywało się, że często nie rozumieli materiału. Studenci nie potrafili wyjaśnić własnych rozwiązań i logiki.
Profesor data science z nowojorskiej szkoły biznesu Panos Ipeirotis napotkał problem: pisemne prace studentów wyglądały perfekcyjnie — jak notatki konsultingowe McKinsey, ale podczas ustnej obrony okazywało się, że często nie rozumieli materiału. Studenci nie potrafili wyjaśnić własnych rozwiązań i logiki.
Aby poradzić sobie z konsekwencjami wykorzystania AI w procesie edukacyjnym, profesor postanowił zwalczać ogień ogniem — przywrócił egzaminy ustne, ale w skalowalnym formacie przy pomocy AI. Wraz z kolegą stworzył egzaminatora AI opartego na technologii konwersacyjnej ElevenLabs. Konfiguracja zajęła zaledwie kilka minut — wystarczyło opisać w prompcie, jakie pytania powinien zadawać agent.
Egzamin składał się z dwóch części. Najpierw AI szczegółowo wypytywało studenta o jego projekt dyplomowy i podjęte decyzje, a następnie wybierało przypadek z kursu i wymagało rozumowania w czasie rzeczywistym. W ciągu dziewięciu dni system przeprowadził 36 egzaminów, każdy trwający około 25 minut. Całkowity koszt obliczeń wyniósł około 15 dolarów — wielokrotnie mniej niż tradycyjne egzaminy ustne z asystentami.
Ocenę również przeprowadzała AI. Trzy modele (Claude, Gemini i ChatGPT) niezależnie sprawdzały transkrypcje, następnie porównywały oceny i dochodziły do ostatecznego wyniku, gdzie Claude pełnił rolę «przewodniczącego». Według profesora takie konsylium okazało się surowsze, ale sprawiedliwsze od ludzi, a informacja zwrotna — bardziej wartościowa. Co więcej, analiza wykazała luki nie tylko u studentów, ale i w sposobie przekazywania materiału.
Reakcja studentów była mieszana. Większość uznała egzaminy ustne za bardziej stresujące niż egzaminy pisemne, ale przyznała, że lepiej sprawdzają rzeczywiste zrozumienie. Sam profesor widzi problem w tym, że studenci «outsourcują» pracę intelektualną do AI zamiast wykorzystywać ją do wzmocnienia własnych zdolności.
Ta historia jest częścią szerszego kryzysu w ocenianiu wiedzy w erze AI, zauważa Business Insider. Uniwersytety nie wiedzą, jak egzaminować studentów, gdy eseje i prace domowe są łatwo automatyzowane. Wykładowcy są zdezorientowani, a liderzy branży, w tym współzałożyciel LinkedIn Reed Hoffman, otwarcie mówią, że tradycyjne metody już nie działają — nowym standardem mogą stać się «egzaminatorzy AI» i ustne sprawdzanie zrozumienia.
