Навукоўцы Стэнфарда паўторна праверылі 50 вядомых навуковых высноваў пра моўныя мадэлі. Аказалася, што 44% з іх ужо не пацвярджаюцца на новых нейрасетках, а яшчэ 34% значна аслаблі.
Навукоўцы Стэнфарда паўторна праверылі 50 вядомых навуковых высноваў пра моўныя мадэлі. Аказалася, што 44% з іх ужо не пацвярджаюцца на новых нейрасетках, а яшчэ 34% значна аслаблі.
Даследчыкі Стэнфардскага ўніверсітэта Оуэн Куін і Джэймс Зоў вывучылі, наколькі хутка старэюць навуковыя ўяўленні пра магчымасці і абмежаванні вялікіх моўных мадэляў. Яны ўзнавілі 50 вядомых эксперыментаў на 20 нейрасетках ад васьмі распрацоўшчыкаў, выпушчаных з ліпеня 2024-га па верасень 2026 года.
Вынікі паказалі, што 22 высновы (44%) фактычна састарэлі: апісаныя ў іх эфекты скараціліся да адной пятай першапачатковай велічыні або менш. Яшчэ 17 (34%) прыкметна аслаблі. Толькі восем высноваў (16%) захавалі сілу, а тры (6%) сталі яшчэ больш выражанымі.
Сярод 22 састарэлых высноваў сярэдні тэрмін ад публікацыі даследавання да знікнення эфекту склаў 15,7 месяца. Пры гэтым аўтары падкрэсліваюць, што гаворка толькі пра высновы, якія ўжо страцілі актуальнасць, а не пра ўсе даследаванні штучнага інтэлекту.
Хутчэй за ўсё старэюць уяўленні пра тое, чаго нейрасеткі не ўмеюць. Напрыклад, раней мадэлі дрэнна лічылі літары ў слове strawberry, памыляліся пры вылічэннях у незвычайных сістэмах злічэння і гублялі важную інфармацыю ў сярэдзіне доўгіх тэкстаў. У новых мадэлях гэтыя праблемы значна аслаблі або знікалі зусім.
Асабліва заўважальныя змены ў здольнасці ШІ спасылацца на навуковыя крыніцы. У даследаванні 2023 года GPT-3.5 выдумляла 55% бібліяграфічных спасылак. Калі навукоўцы паўтарылі эксперымент, GPT-6.1 Sol не выдумала ніводнай, а Claude Sonnet 5.5 — каля 1%. Прагрэс аказаўся няроўным. Іншая сучасная мадэль, Qwen3.7-Flash, у тым жа тэсце выдумала 69% спасылак.
Некаторыя асаблівасці паводзін нейрасетак аказаліся значна больш устойлівымі. У прыватнасці, мадэлі па-ранейшаму схільныя пагаджацца з карыстальнікамі і хваліць іх, аддаваць перавагу ўласным адказам пры ацэнцы тэкстаў і выдаваць падобныя вынікі на адкрытыя пытанні.
Адрозненні паміж сучаснымі мадэлямі застаюцца значнымі нават пры блізкіх датах выпуску. Напрыклад, сярод нейрасетак, прадстаўленых з ліпеня па верасень 2026 года, колькасць састарэлых высноваў вар'іравалася ад 11 для DeepSeek V4 Pro да 30 для GPT-6.1 Sol. На думку даследчыкаў, навуковыя вынікі пра моўныя мадэлі нельга лічыць універсальнымі характарыстыкамі ШІ. Яны апісваюць паводзіны канкрэтнай сістэмы ў пэўны момант часу.
Аўтары прапануюць абавязкова ўказваць у навуковых працах версію мадэлі, дату эксперыменту, выкарыстаныя промпты і код аналізу. Гэта дазволіць рэгулярна паўтараць праверкі і высвятляць, ці захоўваюцца апублікаваныя высновы пасля выхаду новых пакаленняў нейрасетак.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.