Дапамажыце dev.by 🤍
Падтрымаць

Распрацоўшчык навучыўся «хаваць» промпты ў PNG і эканоміць да 70% токенаў

Распрацоўшчык Стывен Чонг выпусціў open-source-інструмент, які ператварае доўгія тэкставыя інструкцыі для ШІ ў выявы PNG. Паводле яго, такі падыход дазваляе скараціць выдаткі на токены ў Claude Code і Fable 5 у сярэднім на 59–70%.

Пакінуць каментарый
Распрацоўшчык навучыўся «хаваць» промпты ў PNG і эканоміць да 70% токенаў

Распрацоўшчык Стывен Чонг выпусціў open-source-інструмент, які ператварае доўгія тэкставыя інструкцыі для ШІ ў выявы PNG. Паводле яго, такі падыход дазваляе скараціць выдаткі на токены ў Claude Code і Fable 5 у сярэднім на 59–70%.

Інструмент pxpipe працуе як лакальны проксі: ён перахоплівае запыты да мадэлі і замяняе найбольш аб’ёмныя статычныя часткі кантэксту — сістэмныя промпты, дакументацыю інструментаў і старую гісторыю чату — кампактнымі выявамі. Апошнія паведамленні карыстальніка і адказы мадэлі пры гэтым перадаюцца звычайным тэкстам.

Ідэя заснавана на асаблівасцях тарыфікацыі Anthropic. Тэкст звычайна аплачваецца па колькасці токенаў, а выявы — у залежнасці ад іх разрознасці, а не колькасці сімвалаў унутры. Таму на адной шчыльнай PNG-старонцы можна размясціць вялікі аб’ём кода, JSON або інструкцый.

У адным з прыкладаў pxpipe сціснуў каля 48 тысяч сімвалаў сістэмнага промпту і дакументацыі інструментаў у адну выяву. У тэкставым выглядзе такі кантэкст каштаваў бы прыкладна 25 тысяч токенаў, а ў фармаце PNG — каля 2,7 тысячы.

Паводле дадзеных Чонга, у адной сесіі з Fable 5 кошт працы знізіўся з $42,21 да $6,06. Ён сцвярджае, што метад асабліва выгадны пры доўгіх сесіях Claude Code, дзе ў кантэкст пастаянна трапляюць старыя паведамленні, апісанні інструментаў і вялікія фрагменты кода.

Аднак у падыходу ёсць і недахопы. Выява перадае тэкст са стратамі: мадэль можа няправільна прачытаць дакладныя радкі, напрыклад хэшы, ідэнтыфікатары або фрагменты кода. Акрамя таго, апрацоўка становіцца павольнейшай, бо мадэлі трэба спачатку распазнаць тэкст праз візуальны энкодэр, а не чытаць яго наўпрост.

Па замоўчванні pxpipe падтрымлівае Fable 5 і GPT 5.6. Паводле тэстаў распрацоўшчыка, Fable 5 паказала 100% дакладнасць у задачах з матэматычнымі прыкладамі і выпадковымі лічбамі. Opus 4.7 і Opus 4.8, як сцвярджае Чонг, памыляліся пры чытанні выяваў прыкладна ў 7% выпадкаў, а GPT 5.5 таксама горш працавала з візуальным кантэкстам. Таму гэтыя мадэлі адключаны ў pxpipe па замоўчванні.

«І ў чым розніца?»: распрацоўшчыкі скардзяцца, што Fable 5 пасля разблакіроўкі працуе горш
«І ў чым розніца?»: распрацоўшчыкі скардзяцца, што Fable 5 пасля разблакіроўкі працуе горш
Па тэме
«І ў чым розніца?»: распрацоўшчыкі скардзяцца, што Fable 5 пасля разблакіроўкі працуе горш
Як знізіць выдаткі на токены? Кампаніі ўзгадалі правераны метад
Як знізіць выдаткі на токены? Кампаніі ўзгадалі правераны метад
Па тэме
Як знізіць выдаткі на токены? Кампаніі ўзгадалі правераны метад
Новая кітайская мадэль даганяе OpenAI і Anthropic — і каштуе ў 6 разоў танней
Новая кітайская мадэль даганяе OpenAI і Anthropic — і каштуе ў 6 разоў танней
Па тэме
Новая кітайская мадэль даганяе OpenAI і Anthropic — і каштуе ў 6 разоў танней
Чытайце таксама
Распрацоўшчык прыдумаў спосаб зменшыць выдаткі на токены ў разы
Распрацоўшчык прыдумаў спосаб зменшыць выдаткі на токены ў разы
Распрацоўшчык прыдумаў спосаб зменшыць выдаткі на токены ў разы
Інжынер прыдумаў, як плаціць за ШІ менш: ягоны інструмент выдаляе да 90% лішніх токенаў
Інжынер прыдумаў, як плаціць за ШІ менш: ягоны інструмент выдаляе да 90% лішніх токенаў
Інжынер прыдумаў, як плаціць за ШІ менш: ягоны інструмент выдаляе да 90% лішніх токенаў
Распрацоўшчык навучыўся «хаваць» промпты ў PNG і эканоміць да 70% токенаў
Распрацоўшчык навучыўся «хаваць» промпты ў PNG і эканоміць да 70% токенаў
Распрацоўшчык навучыўся «хаваць» промпты ў PNG і эканоміць да 70% токенаў
Anthropic дадала вадзяныя знакі — распрацоўшчык за 5 гадзін зрабіў «сцірку» і набраў мільёны праглядаў
Anthropic дадала вадзяныя знакі — распрацоўшчык за 5 гадзін зрабіў «сцірку» і набраў мільёны праглядаў
Anthropic дадала вадзяныя знакі — распрацоўшчык за 5 гадзін зрабіў «сцірку» і набраў мільёны праглядаў

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Абмеркаванне
Каментуйце без абмежаванняў

Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.

Каментарыяў пакуль няма.