Даследчыкі стварылі новы метад маштабавання штучнага інтэлекту. Спосаб «пошуку падчас вываду» дазваляе мадэлі генерыраваць мноства адказаў на запыт, і выбіраць лепшы з іх. Гэты падыход можа павысіць эфектыўнасць мадэляў без дадатковага навучання.
Даследчыкі стварылі новы метад маштабавання штучнага інтэлекту. Спосаб «пошуку падчас вываду» дазваляе мадэлі генерыраваць мноства адказаў на запыт, і выбіраць лепшы з іх. Гэты падыход можа павысіць эфектыўнасць мадэляў без дадатковага навучання.
Група навукоўцаў з Google і Каліфарнійскага ўніверсітэта прапанавалі новы метад навучання вялікіх моўных мадэляў, які мог бы значна павысіць дакладнасць адказаў нават у невялікіх і састарэлых мадэлях. Выкарыстоўваючы метад «пошуку падчас вываду», даследчыкі палепшылі вынікі мадэлі Gemini 1.5 Pro, якая, згодна з вынікамі, перасягнула магутную o1-preview ад OpenAI па матэматычных і навуковых тэстах.
Thinking for longer (e.g. o1) is only one of many axes of test-time compute. In a new @Google_AI paper, we instead focus on scaling the search axis. By just randomly sampling 200x & self-verifying, Gemini 1.5 ➡️ o1 performance. The secret: self-verification is easier at scale! pic.twitter.com/xmMpBsBkTs
— Eric Zhao (@ericzhao28) March 17, 2025
Да мінулага года дамінуючым падыходам сярод распрацоўшчыкаў ШІ быў метад папярэдняга навучання — навучанне ўсё больш буйных мадэляў на вялікіх наборах дадзеных. Гэты метад патрабуе велізарных вылічальных магутнасцей і з’яўляецца занадта працаёмкім, таму вядучыя распрацоўшчыкі засяродзіліся на іншых падыходах, у тым ліку выпускаючы разважальныя мадэлі і выкарыстоўваючы пры навучанні сінтэтычныя даныя.
Хаця папярэдняе навучанне не знікла, з’явіліся два дадатковыя законы маштабавання, якія яго дапаўняюць: маштабаванне пасля навучання і маштабаванне падчас тэставання. Маштабаванне пасля навучання, па сутнасці, уключае наладжванне паводзін мадэлі, а маштабаванне падчас тэставання прадугледжвае выкарыстанне вялікіх вылічальных рэсурсаў для лагічнага вываду.
Аднак іншыя эксперты сумняваюцца, што метад з’яўляецца стабільным і можа прэтэндаваць на рэвалюцыйны прарыў у распрацоўцы ШІ. Напрыклад, даследчык з Універсітэта Альберты Мэцью Гуздыял адзначыў, што метад працуе толькі ў выпадках, калі неабходны дакладны правільны адказ, а большасць задач не адпавядае гэтаму вызначэнню. Даследчык Майк Кук з Каралеўскага каледжа Лондана заявіў, што новы метад толькі дапамагае абыходзіць існуючыя абмежаванні, але не паляпшае здольнасць мадэлі да разважання.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
Как-то уже поднадоела (если культурно выражаться) вся эта возня и хайп с ии. Эффект новизны пропал, от искусственно сгенерированного контента тошнит. Хочется простых человеческих радостей, а не вот это вот все.