Ученые Стэнфорда перепроверили 50 известных научных выводов о языковых моделях. Выяснилось, что 44% из них уже не подтверждаются на новых нейросетях, а еще 34% значительно ослабли.
Ученые Стэнфорда перепроверили 50 известных научных выводов о языковых моделях. Выяснилось, что 44% из них уже не подтверждаются на новых нейросетях, а еще 34% значительно ослабли.
Исследователи Стэнфордского университета Оуэн Куин и Джеймс Зоу изучили, насколько быстро устаревают научные представления о возможностях и ограничениях больших языковых моделей. Они воспроизвели 50 известных экспериментов на 20 нейросетях от восьми разработчиков, выпущенных с июля 2024-го по сентябрь 2026 года.
Результаты показали, что 22 вывода (44%) фактически устарели: описанные в них эффекты сократились до одной пятой первоначальной величины или меньше. Еще 17 (34%) заметно ослабли. Только восемь выводов (16%) сохранили силу, а три (6%) стали еще более выраженными.
Среди 22 устаревших выводов средний срок от публикации исследования до исчезновения эффекта составил 15,7 месяца. При этом авторы подчеркивают, что речь только о выводах, которые уже утратили актуальность, а не обо всех исследованиях ИИ.
Быстрее всего устаревают представления о том, чего нейросети не умеют. Например, раньше модели плохо считали буквы в слове strawberry, ошибались при вычислениях в непривычных системах счисления и теряли важную информацию в середине длинных текстов. В новых моделях эти проблемы значительно ослабли или исчезли.
Особенно заметны изменения в способности ИИ ссылаться на научные источники. В исследовании 2023 года GPT-3.5 выдумывала 55% библиографических ссылок. Когда ученые повторили эксперимент, GPT-6.1 Sol не выдумала ни одной, а Claude Sonnet 5.5 — около 1%. Прогресс оказался неравномерным. Другая современная модель, Qwen3.7-Flash, в том же тесте выдумала 69% ссылок.
Некоторые особенности поведения нейросетей оказались гораздо устойчивее. В частности, модели по-прежнему склонны соглашаться с пользователями и хвалить их, предпочитать собственные ответы при оценке текстов и выдавать похожие результаты на открытые вопросы.
Различия между современными моделями остаются значительными даже при близких датах выпуска. Например, среди нейросетей, представленных с июля по сентябрь 2026 года, число устаревших выводов варьировалось от 11 для DeepSeek V4 Pro до 30 для GPT-6.1 Sol. По мнению исследователей, научные результаты о языковых моделях нельзя считать универсальными характеристиками ИИ. Они описывают поведение конкретной системы в определенный момент времени.
Авторы предлагают обязательно указывать в научных работах версию модели, дату эксперимента, использованные промпты и код анализа. Это позволит регулярно повторять проверки и выяснять, сохраняются ли опубликованные выводы после выхода новых поколений нейросетей.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.