Дапамажыце dev.by 🤍
Падтрымаць

Вучоныя прыдумалі, як скараціць расход токенаў у 50 разоў

Даследчыкі Google і Універсітэта Пэрдзью прадставілі SKILL.state — архітэктуру для ШІ-агентаў, якая дазваляе выконваць доўгія паслядоўнасці дзеянняў без пастаяннага захавання ўсёй гісторыі працы.

Пакінуць каментарый
Вучоныя прыдумалі, як скараціць расход токенаў у 50 разоў

Даследчыкі Google і Універсітэта Пэрдзью прадставілі SKILL.state — архітэктуру для ШІ-агентаў, якая дазваляе выконваць доўгія паслядоўнасці дзеянняў без пастаяннага захавання ўсёй гісторыі працы.

Звычайна агент пры кожным новым кроку атрымлівае ўсё даўжэйшы кантэкст: папярэднія каманды, адказы інструментаў, назіранні і прамежкавыя разважанні. Праз гэта расход токенаў расце, а старыя дадзеныя могуць перашкаджаць мадэлі прымаць правільныя рашэнні.

SKILL.state замест поўнай гісторыі захоўвае толькі тры элементы: пастаянную інструкцыю, структураваны бягучы стан задачы і апошняе назіранне. Пасля кожнага кроку прамежкавыя разважанні мадэлі выдаляюцца, а ў памяці застаюцца толькі абнаўленні, якія спатрэбяцца далей.

У тэсце на 200 паслядоўных кроках агент на Gemini-3-Flash са стандартным механізмам сумарызацыі гісторыі патраціў каля 6,18 мільёна токенаў, тады як SKILL.state — каля 122 тысяч, гэта значыць прыкладна ў 50 разоў менш. Дакладнасць пры гэтым вырасла з 84% да 94%.

Аднак 50-кратная эканомія атрымалася пры параўнанні менавіта з архітэктурай, якая перыядычна падсумоўвае папярэднюю гісторыю. Пры параўнанні са звычайным падыходам ReAct расход на тых жа 200 кроках знізіўся з 2,61 мільёна да 122 тысяч токенаў — прыкладна ў 21 раз.

У іншым эксперыменце, які імітуе працу з праграмным рэпазіторыем, на 100 кроках звычайны агент выдаў каля 1,85 мільёна токенаў, а SKILL.state — каля 90 тысяч, гэта значыць прыкладна ў 20 разоў менш. Дакладнасць вырасла з 53% да 78%.

Даследчыкі таксама правяралі падыход на адкрытых мадэлях Gemma і Qwen і на публічных задачах, у тым працу ў Linux-тэрмінале і сцэнарыі абслугоўвання кліентаў. На думку аўтараў, перавага архітэктуры становіцца больш заўважнай па меры павелічэння ліку паслядоўных дзеянняў.

Пры гэтым Claude Code і Codex у даследаванні не тэставалі. Аўтары называюць SKILL.state незалежнай ад канкрэтнай мадэлі архітэктурай, таму тэарэтычна яе можна адаптаваць і для іншых ШІ-агентаў. Код гатовай рэалізацыі пакуль не апублікаваны, але ў працы аўтары прыводзяць прылады runtime і шаблоны промптаў для ўзнаўлення падыходу.

Новая работа программиста — не писать код а задавать границы для ИИ-агентов — мнение
Новая праца праграміста — не пісаць код, а задаваць межы для ІІ-агентаў — меркаванне
Па тэме
Новая праца праграміста — не пісаць код, а задаваць межы для ІІ-агентаў — меркаванне
«Сейчас пугающе легко разбогатеть»: 31-летний миллионер советует срочно запускать ИИ-бизнес
«Цяпер жудасна лёгка разбагацець»: 31-гадовы мільянер раіць тэрмінова запускаць ІІ-бізнес
Па тэме
«Цяпер жудасна лёгка разбагацець»: 31-гадовы мільянер раіць тэрмінова запускаць ІІ-бізнес
ИИ проник в 80% профессий но массового внедрения пока нет
ІІ пранік у 80% прафесій, але масавага ўкаранення пакуль няма
Па тэме
ІІ пранік у 80% прафесій, але масавага ўкаранення пакуль няма
Чытайце таксама
ШІ сабраў прататып за гадзіну — камандзе Google спатрэбіўся б год распрацоўкі
ШІ сабраў прататып за гадзіну — камандзе Google спатрэбіўся б год распрацоўкі
ШІ сабраў прататып за гадзіну — камандзе Google спатрэбіўся б год распрацоўкі
1 каментарый
Токены з'ядаюць бюджэты: кампаніі шукаюць спосабы скараціць выдаткі на ШІ
Токены з'ядаюць бюджэты: кампаніі шукаюць спосабы скараціць выдаткі на ШІ
Токены з'ядаюць бюджэты: кампаніі шукаюць спосабы скараціць выдаткі на ШІ
Зніжкі не ратуюць: ШІ-агенты спальваюць токены хутчэй, чым падаюць цэны
Зніжкі не ратуюць: ШІ-агенты спальваюць токены хутчэй, чым падаюць цэны
Зніжкі не ратуюць: ШІ-агенты спальваюць токены хутчэй, чым падаюць цэны
Вучоныя прыдумалі, як скараціць расход токенаў у 50 разоў
Вучоныя прыдумалі, як скараціць расход токенаў у 50 разоў
Вучоныя прыдумалі, як скараціць расход токенаў у 50 разоў

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.