Вучоныя прыдумалі, як скараціць расход токенаў у 50 разоў
Даследчыкі Google і Універсітэта Пэрдзью прадставілі SKILL.state — архітэктуру для ШІ-агентаў, якая дазваляе выконваць доўгія паслядоўнасці дзеянняў без пастаяннага захавання ўсёй гісторыі працы.
Даследчыкі Google і Універсітэта Пэрдзью прадставілі SKILL.state — архітэктуру для ШІ-агентаў, якая дазваляе выконваць доўгія паслядоўнасці дзеянняў без пастаяннага захавання ўсёй гісторыі працы.
Звычайна агент пры кожным новым кроку атрымлівае ўсё даўжэйшы кантэкст: папярэднія каманды, адказы інструментаў, назіранні і прамежкавыя разважанні. Праз гэта расход токенаў расце, а старыя дадзеныя могуць перашкаджаць мадэлі прымаць правільныя рашэнні.
SKILL.state замест поўнай гісторыі захоўвае толькі тры элементы: пастаянную інструкцыю, структураваны бягучы стан задачы і апошняе назіранне. Пасля кожнага кроку прамежкавыя разважанні мадэлі выдаляюцца, а ў памяці застаюцца толькі абнаўленні, якія спатрэбяцца далей.
У тэсце на 200 паслядоўных кроках агент на Gemini-3-Flash са стандартным механізмам сумарызацыі гісторыі патраціў каля 6,18 мільёна токенаў, тады як SKILL.state — каля 122 тысяч, гэта значыць прыкладна ў 50 разоў менш. Дакладнасць пры гэтым вырасла з 84% да 94%.
Аднак 50-кратная эканомія атрымалася пры параўнанні менавіта з архітэктурай, якая перыядычна падсумоўвае папярэднюю гісторыю. Пры параўнанні са звычайным падыходам ReAct расход на тых жа 200 кроках знізіўся з 2,61 мільёна да 122 тысяч токенаў — прыкладна ў 21 раз.
У іншым эксперыменце, які імітуе працу з праграмным рэпазіторыем, на 100 кроках звычайны агент выдаў каля 1,85 мільёна токенаў, а SKILL.state — каля 90 тысяч, гэта значыць прыкладна ў 20 разоў менш. Дакладнасць вырасла з 53% да 78%.
Даследчыкі таксама правяралі падыход на адкрытых мадэлях Gemma і Qwen і на публічных задачах, у тым працу ў Linux-тэрмінале і сцэнарыі абслугоўвання кліентаў. На думку аўтараў, перавага архітэктуры становіцца больш заўважнай па меры павелічэння ліку паслядоўных дзеянняў.
Пры гэтым Claude Code і Codex у даследаванні не тэставалі. Аўтары называюць SKILL.state незалежнай ад канкрэтнай мадэлі архітэктурай, таму тэарэтычна яе можна адаптаваць і для іншых ШІ-агентаў. Код гатовай рэалізацыі пакуль не апублікаваны, але ў працы аўтары прыводзяць прылады runtime і шаблоны промптаў для ўзнаўлення падыходу.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.