ШІ-мадэлі не разумеюць, якія заданні складаныя для людзей

Новае даследаванне паказвае, што ШІ сутыкаецца з так званым «пракляццем ведаў»: мадэлі ўмеюць вырашаць экзаменацыйныя пытанні, але не здольныя адэкватна ацаніць, дзе менавіта ў чалавека ўзнікаюць цяжкасці.

У рамках даследавання навукоўцы пратэставалі больш за 20 вялікіх моўных мадэляў, уключаючы GPT-5, GPT-4o, розныя версіі Llama і Qwen, а таксама спецыялізаваныя reasoning-мадэлі накшталт DeepSeek-R1. Мадэлям прапаноўвалася ацаніць, наколькі складанымі экзаменацыйныя пытанні падаліся б людзям.

Потым гэтыя ацэнкі параўналі з рэальнымі дадзенымі — вынікамі палявых тэстаў са студэнтамі ў чатырох абласцях: медыцынскі экзамен USMLE, экзамены Cambridge па англійскай мове, а таксама раздзелы Reading/Writing і Math у SAT. Для параўнання выкарыстоўвалася карэляцыя Спірмена — статыстычны паказчык, які адлюстроўвае, наколькі падобным чынам людзі і мадэлі ранжыруюць пытанні ад «лёгкіх» да «складаных». Значэнне 1 азначае поўнае супадзенне, 0 — адсутнасць сувязі.

Вынікі аказаліся слабымі. У сярэднім карэляцыя ў мадэляў была ніжэй за 0,50, што сведчыць пра дрэннае супадзенне з чалавечым успрыманнем складанасці. Больш за тое, рост памераў і эфектыўнасці мадэляў не гарантаваў паляпшэння. Так, GPT-5 паказаў карэляцыю ўсяго 0,34, тады як больш старая версія GPT-4.1 справілася заўважна лепш — з вынікам 0,44.

Аўтары даследавання адзначаюць, што праблема мае фундаментальны характар. Паколькі мадэлі ўжо «ведаюць адказы», яны не сутыкаюцца з тымі кагнітыўнымі бар’ерамі, якія адчуваюць людзі падчас навучання. У выніку ШІ не разумее, якія крокі разважання выклікаюць цяжкасці ў студэнтаў і чаму адны заданні аказваюцца складаней за іншыя.

На думку даследчыкаў, гэты разрыў мае практычныя наступствы. Ён абмяжоўвае прымяненне ШІ ў адукацыі — напрыклад, пры стварэнні вучэбных матэрыялаў, адаптыўных тэстаў і сістэм персаналізаванага навучання. Пакуль моўныя мадэлі не навучацца лепш разумець чалавечае ўспрыманне складанасці, іх роля ў навучанні будзе заставацца дапаможнай, а не паўнавартасна педагагічнай.