Эксперты опять не знают, думает ли ИИ: статья Apple всех только запутала

В исследовании команда Apple протестировала передовые модели на классических логических задачах и пришла к выводу: даже самые продвинутые ИИ не могут последовательно и корректно решать простые алгоритмические задачи. Авторы утверждают, что модели не обладают обобщающим мышлением и действуют скорее как «сопоставители шаблонов», а не как настоящие мыслители.

Это мнение поддерживают и другие исследования. Например, работа Salesforce показала, что в условиях более сложных многотактных задач в CRM-сценариях производительность моделей резко падает. Другое, менее критичное исследование подтвердило наличие проблем, но призвало не делать преждевременных выводов.

Однако некоторые эксперты считают критику Apple чересчур упрощенной. Исследователь Лоуренс Чан в своем развернутом ответе на платформе LessWrong утверждает, что противопоставление «истинного мышления» и «механического запоминания» — ложная дихотомия. Люди, по его словам, также не решают физические задачи аналитически, а действуют с помощью интуитивных эвристик — и ИИ-модели делают то же самое.

«Когда модель не выводит вручную все 32 767 ходов для „Ханойской башни“ [головоломки], а генерирует Python-скрипт для решения — это не провал, а пример прагматичного подхода», — пишет Чан. Он подчеркивает, что сокращение количества токенов в сложных задачах — это не признак «ограниченности», как утверждают авторы Apple, а напротив, проявление осознания модели своих вычислительных пределов и рационального поиска решений.

Чан также критикует ограничение анализа только на LLM без учета их взаимодействия с внешними инструментами — от интерпретаторов кода до доступа к интернету. По его мнению, обсуждение «разумности» моделей без контекста их использования в составе более широких ИИ-агентов — некорректно.

Тем временем в интернете набрал популярность пародийный ответ на статью Apple — «The Illusion of the Illusion of Thinking», якобы написанный при участии Claude 4 Opus. Один из авторов, Алекс Лоусен, позже пояснил, что это была шутка, полная ошибок, которую неожиданно приняли всерьез. «Это был мой первый опыт, когда что-то, созданное в шутку, внезапно стало вирусным. И, если честно, это немного пугает», — признался он.