MIT: генератыўны АІ не разумее, як уладкаваны навакольны свет

АІ-мадэлі навучаныя даваць пераканаўчыя адказы на карыстальніцкія запыты на чалавечай мове. Аднак гэтыя адказы грунтуюцца толькі на прадказанні мадэлямі — часам з дзіўнай дакладнасцю — таго, якое слова лепш за ўсё паставіць услед за папярэднім у пэўным кантэксце. Калі мадэль змяшчаюць у непрадказальныя ўмовы рэальнага свету, іх надзейнасць хутка зніжаецца.

Спецыялісты MIT паспрабавалі распрацаваць новыя метрыкі для ацэнкі таго, ці здольныя сістэмы на базе генератыўнага АІ разумець рэальны свет і ўнутраную логіку складаных сістэм. Даследчыкі разглядалі мадэлі-трансформеры, якія навучаюцца на велізарных масівах тэксту і выдатна ўмеюць яго спараджаць. Яны выкарыстоўвалі клас задач пад назвай «дэтэрмінаваныя канечныя аўтаматы» (Deterministic Finite Automaton, DFA), якія ахопліваюць такія сферы, як логіка, навігацыя, хімія і стратэгіі ў гульнях. Для эксперымента даследчыкі выбралі дзве задачы — кіраванне аўтамабілем па Нью-Ёрку і гульню ў «Атэла», каб праверыць здольнасць АІ разумець правілы, якія ляжаць у іх аснове.

Выявілася, што мадэлі здольныя карэктна пракладваць маршруты і прапаноўваць правільныя хады ў гульні, але толькі не пры даданні ўскладняючых фактараў, напрыклад, аб’язных шляхоў у Нью-Ёрку. Тады АІ-мадэлі генеравалі нелагічныя маршруты і прапаноўвалі выпадковыя эстакады, якіх насамрэч не існуе. Прычым даволі моцнае зніжэнне якасці адказаў мадэлі справакавала даданне ўсяго аднаго аб’язнога шляху, а пры закрыцці ўсяго 1% вуліц горада дакладнасць мадэляў звалілася з прыкладна 100% да 67%.

Вынікі даследавання паказваюць, што мадэлі-трансформеры падыходзяць для некаторых задач, але яны пакуль не здольныя разумець і адаптавацца да рэальных умоў.