По разным прогнозам, генеративный ИИ заменит миллионы работников и автоматизирует всё, что только можно. Однако специалисты из Массачусетского технологического института утверждают, что у ИИ-моделей нет понимания «правил» этого мира.
По разным прогнозам, генеративный ИИ заменит миллионы работников и автоматизирует всё, что только можно. Однако специалисты из Массачусетского технологического института утверждают, что у ИИ-моделей нет понимания «правил» этого мира.
ИИ-модели обучены давать убедительные ответы на пользовательские запросы на человеческом языке. Однако эти ответы базируются лишь на предсказании моделями — иногда с поразительной точностью — того, какое слово лучше всего поставить вслед за предыдущим в определённом контексте. Когда модель помещают в непредсказуемые условия реального мира, их надёжность быстро снижается.
Специалисты MIT попытались разработать новые метрики для оценки того, способны ли системы на базе генеративного ИИ понимать реальный мир и внутреннюю логику сложных систем. Исследователи рассматривали модели-трансформеры, которые обучаются на огромных массивах текста и отлично умеют его порождать. Они использовали класс задач под названием «детерминированные конечные автоматы» (Deterministic Finite Automaton, DFA), охватывающих такие сферы, как логика, навигация, химия и стратегии в играх. Для эксперимента исследователи выбрали две задачи — вождение автомобиля по Нью-Йорку и игру в «Отелло», чтобы проверить способность ИИ понимать лежащие в их основе правила.
Оказалось, что модели способны корректно прокладывать маршруты и предлагать правильные ходы в игре, но только не при добавлении усложняющих факторов, например объездных путей в Нью-Йорке. Тогда ИИ-модели генерировали нелогичные маршруты и предлагали случайные эстакады, которых на самом деле не существует. Причём довольно сильное снижение качества ответов модели спровоцировало добавление всего одного объездного пути, а при закрытии всего 1% улиц города точность моделей упала с примерно 100% до 67%.
Результаты исследования показывают, что модели-трансформеры годятся для некоторых задач, но они пока не способны понимать и адаптироваться к реальным условиям.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Так. Замолчите. Я только акций OpenAI прикупил. Завидуйте молча.
И какой же тикер у "акций OpenAI"? :)))
Вы ничего не докажете!
" предлагали случайные эстакады, которых на самом деле не существует". не случайные, а сгенерированные
Ничего, большинство людей тоже потеряются при помещёнии в необычные условия.
Ой, ну надо же. Оказывается у ИИ мышление в человеческом понимании этого слова отсутствует, и, как следствие, никакого объектного понимания этого мира и причинно-следственных связей в нем нет. Ну кто бы мог такое себе представить, а.