MIT: генеративный ИИ не понимает, как устроен окружающий мир

ИИ-модели обучены давать убедительные ответы на пользовательские запросы на человеческом языке. Однако эти ответы базируются лишь на предсказании моделями — иногда с поразительной точностью — того, какое слово лучше всего поставить вслед за предыдущим в определённом контексте. Когда модель помещают в непредсказуемые условия реального мира, их надёжность быстро снижается.

Специалисты MIT попытались разработать новые метрики для оценки того, способны ли системы на базе генеративного ИИ понимать реальный мир и внутреннюю логику сложных систем. Исследователи рассматривали модели-трансформеры, которые обучаются на огромных массивах текста и отлично умеют его порождать. Они использовали класс задач под названием «детерминированные конечные автоматы» (Deterministic Finite Automaton, DFA), охватывающих такие сферы, как логика, навигация, химия и стратегии в играх. Для эксперимента исследователи выбрали две задачи — вождение автомобиля по Нью-Йорку и игру в «Отелло», чтобы проверить способность ИИ понимать лежащие в их основе правила.

Оказалось, что модели способны корректно прокладывать маршруты и предлагать правильные ходы в игре, но только не при добавлении усложняющих факторов, например объездных путей в Нью-Йорке. Тогда ИИ-модели генерировали нелогичные маршруты и предлагали случайные эстакады, которых на самом деле не существует. Причём довольно сильное снижение качества ответов модели спровоцировало добавление всего одного объездного пути, а при закрытии всего 1% улиц города точность моделей упала с примерно 100% до 67%.

Результаты исследования показывают, что модели-трансформеры годятся для некоторых задач, но они пока не способны понимать и адаптироваться к реальным условиям.