Распрацоўшчык навучыўся «хаваць» промпты ў PNG і эканоміць да 70% токенаў
Распрацоўшчык Стывен Чонг выпусціў open-source-інструмент, які ператварае доўгія тэкставыя інструкцыі для ШІ ў выявы PNG. Паводле яго, такі падыход дазваляе скараціць выдаткі на токены ў Claude Code і Fable 5 у сярэднім на 59–70%.
Распрацоўшчык Стывен Чонг выпусціў open-source-інструмент, які ператварае доўгія тэкставыя інструкцыі для ШІ ў выявы PNG. Паводле яго, такі падыход дазваляе скараціць выдаткі на токены ў Claude Code і Fable 5 у сярэднім на 59–70%.
Інструмент pxpipe працуе як лакальны проксі: ён перахоплівае запыты да мадэлі і замяняе найбольш аб’ёмныя статычныя часткі кантэксту — сістэмныя промпты, дакументацыю інструментаў і старую гісторыю чату — кампактнымі выявамі. Апошнія паведамленні карыстальніка і адказы мадэлі пры гэтым перадаюцца звычайным тэкстам.
Ідэя заснавана на асаблівасцях тарыфікацыі Anthropic. Тэкст звычайна аплачваецца па колькасці токенаў, а выявы — у залежнасці ад іх разрознасці, а не колькасці сімвалаў унутры. Таму на адной шчыльнай PNG-старонцы можна размясціць вялікі аб’ём кода, JSON або інструкцый.
У адным з прыкладаў pxpipe сціснуў каля 48 тысяч сімвалаў сістэмнага промпту і дакументацыі інструментаў у адну выяву. У тэкставым выглядзе такі кантэкст каштаваў бы прыкладна 25 тысяч токенаў, а ў фармаце PNG — каля 2,7 тысячы.
Паводле дадзеных Чонга, у адной сесіі з Fable 5 кошт працы знізіўся з $42,21 да $6,06. Ён сцвярджае, што метад асабліва выгадны пры доўгіх сесіях Claude Code, дзе ў кантэкст пастаянна трапляюць старыя паведамленні, апісанні інструментаў і вялікія фрагменты кода.
Аднак у падыходу ёсць і недахопы. Выява перадае тэкст са стратамі: мадэль можа няправільна прачытаць дакладныя радкі, напрыклад хэшы, ідэнтыфікатары або фрагменты кода. Акрамя таго, апрацоўка становіцца павольнейшай, бо мадэлі трэба спачатку распазнаць тэкст праз візуальны энкодэр, а не чытаць яго наўпрост.
Па замоўчванні pxpipe падтрымлівае Fable 5 і GPT 5.6. Паводле тэстаў распрацоўшчыка, Fable 5 паказала 100% дакладнасць у задачах з матэматычнымі прыкладамі і выпадковымі лічбамі. Opus 4.7 і Opus 4.8, як сцвярджае Чонг, памыляліся пры чытанні выяваў прыкладна ў 7% выпадкаў, а GPT 5.5 таксама горш працавала з візуальным кантэкстам. Таму гэтыя мадэлі адключаны ў pxpipe па замоўчванні.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.