Дапамажыце dev.by 🤍
Падтрымаць

Як пісаць інструкцыі для ШІ-агентаў без «душку» і не марнаваць токены

Дрэнна напісаныя інструкцыі для ШІ-агентаў могуць павялічваць выдаткі на токены і пагаршаць якасць іх працы. Да такой высновы прыйшлі бразільскія даследчыкі.

Пакінуць каментарый
Як пісаць інструкцыі для ШІ-агентаў без «душку» і не марнаваць токены

Дрэнна напісаныя інструкцыі для ШІ-агентаў могуць павялічваць выдаткі на токены і пагаршаць якасць іх працы. Да такой высновы прыйшлі бразільскія даследчыкі.

Гаворка ідзе пра канфігурацыйныя файлы, якія задаюць паводзіны ШІ-агентаў пры працы з кодам. Для Claude такія файлы часта называюцца CLAUDE.md, а для іншых агентаў — AGENTS.md. У іх распрацоўшчыкі апісваюць правілы працы з праектам, патрабаванні да стылю, інструменты, абмежаванні ды іншыя інструкцыі.

Аўтары даследавання параўноўваюць такія праблемы з code smells — прыкметамі дрэннай структуры кода. Па аналогіі яны называюць тыповыя памылкі ў інструкцыях для агентаў configuration smells — канфігурацыі «з душком».

Даследчыкі вывучылі каля 532 тысяч файлаў і сабралі датасет з 100 папулярных open-source праектаў, дзе выкарыстоўваліся AGENTS.md або CLAUDE.md. У 91 з 100 правераных файлаў яны знайшлі хаця б адну тыповую праблему.

Самай распаўсюджанай памылкай стала Lint Leakage. Яна сустракалася ў 62% файлаў. Так даследчыкі называюць сітуацыю, калі інструкцыі для ШІ-агента паўтараюць правілы, якія ўжо правяраюцца лінтарамі, фарматарамі або інструментамі статычнага аналізу. У выніку мадэль марнуе токены на правілы, якія лепш і надзейней выконваюцца звычайнымі праграмнымі інструментамі.

Новы фрэймворк зніжае выдаткі на працу ІІ-агентаў на 50%
Новы фрэймворк зніжае выдаткі на працу ІІ-агентаў на 50%
Па тэме
Новы фрэймворк зніжае выдаткі на працу ІІ-агентаў на 50%

Другая распаўсюджаная праблема — Context Bloat. Яна сустракалася ў 42% файлаў. Гэта празмерна доўгія і перагружаныя інструкцыі, дзе распрацоўшчыкі занадта падрабязна апісваюць паводзіны агента. Такія файлы павялічваюць расход токенаў, павышаюць кошт працы агента і могуць хаваць сапраўды важныя ўказанні.

Anthropic, напрыклад, рэкамендуе абмяжоўваць такія файлы прыкладна 200 радкамі, таму што больш доўгія інструкцыі займаюць кантэкст мадэлі і могуць перашкаджаць ёй працаваць паслядоўна.

Яшчэ адна праблема — Skill Leakage. Яна сустракалася ў 35% файлаў. Так даследчыкі называюць выпадкі, калі ў асноўны AGENTS.md дадаюць інструкцыі для рэдкіх інструментаў або спецыфічных практык, хаця яны патрэбны толькі ў асобных сітуацыях. Праз гэта агент загружае лішні кантэкст у кожнай сесіі, нават калі ён не патрэбны.

Даследчыкі таксама вылучылі іншыя тыповыя памылкі. Blind References — спасылкі на вонкавыя дакументы без тлумачэння, калі і навошта іх выкарыстоўваць. Init Fossilization — састарэлыя інструкцыі, якія засталіся пасля ініцыялізацыі праекта. Conflicting Instructions — супярэчлівыя ўказанні, якія могуць збіваць агента з панталыку.

Галоўная выснова даследавання: у інструкцыях прынцып «менш значыць лепш» часта працуе эфектыўна. Распрацоўшчыкам раяць не ператвараць AGENTS.md і CLAUDE.md у доўгія даведнікі, а пакідаць там толькі мінімальна неабходныя правілы.

Claude Code цяпер паказвае працу ІІ-агента як інтэрактыўны дашборд
Claude Code цяпер паказвае працу ІІ-агента як інтэрактыўны дашборд
Па тэме
Claude Code цяпер паказвае працу ІІ-агента як інтэрактыўны дашборд
У ChatGPT з'явіўся цэнтр планавання задач
У ChatGPT з’явіўся цэнтр планавання задач
Па тэме
У ChatGPT з’явіўся цэнтр планавання задач
OpenAI запусціла інструменты аналітыкі і кантролю ІІ-выдаткаў для кампаній
OpenAI запусціла інструменты аналітыкі і кантролю ІІ-выдаткаў для кампаній
Па тэме
OpenAI запусціла інструменты аналітыкі і кантролю ІІ-выдаткаў для кампаній
Чытайце таксама
«Ён палохаюча добры»: ШІ піша код занадта добра — і гэта палохае распрацоўшчыкаў
«Ён палохаюча добры»: ШІ піша код занадта добра — і гэта палохае распрацоўшчыкаў
«Ён палохаюча добры»: ШІ піша код занадта добра — і гэта палохае распрацоўшчыкаў
1 каментарый
ШІ-агент выдаліў усю базу даных распрацоўшчыка — і такіх выпадкаў усё больш
ШІ-агент выдаліў усю базу даных распрацоўшчыка — і такіх выпадкаў усё больш
ШІ-агент выдаліў усю базу даных распрацоўшчыка — і такіх выпадкаў усё больш
Распрацоўшчык прыдумаў спосаб зменшыць выдаткі на токены ў разы
Распрацоўшчык прыдумаў спосаб зменшыць выдаткі на токены ў разы
Распрацоўшчык прыдумаў спосаб зменшыць выдаткі на токены ў разы
ШІ дрэнна працуе на доўгай дыстанцыі — такога супрацоўніка ўжо б звольнілі
ШІ дрэнна працуе на доўгай дыстанцыі — такога супрацоўніка ўжо б звольнілі
ШІ дрэнна працуе на доўгай дыстанцыі — такога супрацоўніка ўжо б звольнілі

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.