Даследчыкі MIT даручылі мадэлі OpenAI выправіць недахопы кітайскай Qwen. ШІ самастойна знайшоў прычыну збояў і змяніў параметры нейрасеткі без дадатковага навучання.
Даследчыкі MIT даручылі мадэлі OpenAI выправіць недахопы кітайскай Qwen. ШІ самастойна знайшоў прычыну збояў і змяніў параметры нейрасеткі без дадатковага навучання.
Пра вынікі распавялі даследчыкі лабараторыі MIT CSAIL. Яны прадэманстравалі новы падыход пад назвай Weight-Space Programming — праграмаванне непасрэдна ў прасторы вагоў нейрасеткі.
Вагі — гэта лічбавыя параметры, якія вызначаюць паводзіны ШІ-мадэлі. Звычайна яны змяняюцца ў працэсе навучання з дапамогай спецыяльных алгарытмаў, якія паступова падбіраюць адпаведныя значэнні.
Даследчыкі вырашылі праверыць, ці здольна вялікая моўная мадэль самастойна разабрацца ў гэтых лічбах і змяніць іх асэнсавана, без традыцыйных метадаў навучання.
Самы паказальны эксперымент правялі з невялікай адкрытай мадэллю Qwen3.5-0.8B, якая змяшчае каля 800 мільёнаў параметраў. Даследчыкі папрасілі GPT-6 Astra палепшыць яе здольнасці да вырашэння матэматычных задач.
Astra выявіла, што праблема звязана з зацыкліваннем разважанняў: Qwen часта паўтарала адныя і тыя ж фрагменты тэксту, вычэрпвала ўвесь даступны ліміт токенаў і не паспявала даць канчатковы адказ.
Вывучыўшы паводзіны мадэлі ды яе ўнутраныя параметры, Astra вызначыла, якія ўчасткі нейрасеткі звязаны з паўторамі, і змяніла 131 072 лічбавыя значэнні — усяго 0,016% усіх вагоў.
Пасля гэтага вынік Qwen у матэматычным тэсце MATH-500 вырас з 7,9% да 48,1%. У іншым тэсце, GSM8K, дакладнасць павысілася з 13,8% да 67,1%, а ў праверцы выканання інструкцый IFEval — з 21% да 62,3%. Пры гэтым доля адказаў MATH-500, у якіх мадэль вычэрпвала ліміт токенаў, скарацілася з 93% да 33,1%.
Для выпраўлення не спатрэбілася дадаткова навучаць Qwen. Аднак Astra не дзейнічала цалкам навобмацак: ёй прадаставілі доступ да вагоў праз Python, трэніровачныя задачы і магчымасць абмежаваную колькасць разоў праверыць працу мадэлі. На пошук рашэння сышло больш за 20 гадзін, у тым перапынак праз недаступнасць сервісу.
Даследчыкі таксама праверылі, ці здольна Astra ствараць невялікія нейрасеткі з нуля. Атрымаўшы правілы гульні Breakout, мадэль самастойна разлічыла параметры гульнявога агента без навучання на прыкладах.
У выніку ён набраў 517,4 балы супраць 25,3 у агента, навучанага метадам PPO на 500 мільёнах гульнявых крокаў. У дзвюх іншых гульнях Astra перасягнула агентаў, навучаных на 100 мільёнах крокаў, але крыху саступіла больш доўга навучаным версіям.
Яшчэ адзін эксперымент паказаў, што Astra можа вызначаць прызначэнне ўжо навучаных нейрасетак паводле іх вагаў. Ёй прадаставілі параметры чатырох аднолькавых па архітэктуры гульнявых мадэляў, не раскрываючы назваў гульняў. ШІ правільна вызначыў, што яны прызначаны для Breakout, Pong, Pac-Man і Freeway.
Метад працуе не заўсёды. Astra не змагла дасягнуць параўнальнага паляпшэння іншай невялікай мадэлі, Gemma 3 270M, у якой не было настолькі выражанай праблемы з зацыкліваннем. У асобным тэсце яна таксама не змагла вызначыць паводле адных толькі вагаў, якая з дзвюх мадэляў схільная пагаджацца з карыстальнікам нават пры ягоных памылках.
Аўтары лічаць, што ў будучыні ШІ зможа не толькі пісаць код для навучання нейрасетак, але і наўпрост аналізаваць, выпраўляць і ствараць іх унутраныя параметры. Гэта можа адкрыць новыя магчымасці для пошуку памылак і аптымізацыі мадэляў.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.