Даследчыкі заявілі пра новы метад маштабавання ШІ, але эксперты ставяцца скептычна

Група навукоўцаў з Google і Каліфарнійскага ўніверсітэта прапанавалі новы метад навучання вялікіх моўных мадэляў, які мог бы значна павысіць дакладнасць адказаў нават у невялікіх і састарэлых мадэлях. Выкарыстоўваючы метад «пошуку падчас вываду», даследчыкі палепшылі вынікі мадэлі Gemini 1.5 Pro, якая, згодна з вынікамі, перасягнула магутную o1-preview ад OpenAI па матэматычных і навуковых тэстах.

Да мінулага года дамінуючым падыходам сярод распрацоўшчыкаў ШІ быў метад папярэдняга навучання — навучанне ўсё больш буйных мадэляў на вялікіх наборах дадзеных. Гэты метад патрабуе велізарных вылічальных магутнасцей і з’яўляецца занадта працаёмкім, таму вядучыя распрацоўшчыкі засяродзіліся на іншых падыходах, у тым ліку выпускаючы разважальныя мадэлі і выкарыстоўваючы пры навучанні сінтэтычныя даныя.

Хаця папярэдняе навучанне не знікла, з’явіліся два дадатковыя законы маштабавання, якія яго дапаўняюць: маштабаванне пасля навучання і маштабаванне падчас тэставання. Маштабаванне пасля навучання, па сутнасці, уключае наладжванне паводзін мадэлі, а маштабаванне падчас тэставання прадугледжвае выкарыстанне вялікіх вылічальных рэсурсаў для лагічнага вываду.

Аднак іншыя эксперты сумняваюцца, што метад з’яўляецца стабільным і можа прэтэндаваць на рэвалюцыйны прарыў у распрацоўцы ШІ. Напрыклад, даследчык з Універсітэта Альберты Мэцью Гуздыял адзначыў, што метад працуе толькі ў выпадках, калі неабходны дакладны правільны адказ, а большасць задач не адпавядае гэтаму вызначэнню. Даследчык Майк Кук з Каралеўскага каледжа Лондана заявіў, што новы метад толькі дапамагае абыходзіць існуючыя абмежаванні, але не паляпшае здольнасць мадэлі да разважання.