Дапамажыце dev.by 🤍
Падтрымаць

«Мы выдаем занадта шмат»: кампаніі вучацца кантраляваць выдаткі на ШІ-токены

Кампаніі, якія яшчэ нядаўна заклікалі супрацоўнікаў актыўней карыстацца ШІ, цяпер спрабуюць узяць расходы пад кантроль. Бізнес усё часцей сутыкаецца з рэзкім ростам рахункаў за токены праз масавае ўкараненне ШІ-агентаў і кодынг-інструментаў.

Пакінуць каментарый
«Мы выдаем занадта шмат»: кампаніі вучацца кантраляваць выдаткі на ШІ-токены

Кампаніі, якія яшчэ нядаўна заклікалі супрацоўнікаў актыўней карыстацца ШІ, цяпер спрабуюць узяць расходы пад кантроль. Бізнес усё часцей сутыкаецца з рэзкім ростам рахункаў за токены праз масавае ўкараненне ШІ-агентаў і кодынг-інструментаў.

Апытаныя TechCrunch эксперты указваюць, што пры зніжэнні кошту токенаў іх агульнае спажыванне значна расце. Чым больш кампаніі ўкараняюць ШІ ў распрацоўку, аналітыку, падтрымку і іншыя працэсы, тым больш запытаў робяць супрацоўнікі і аўтаномныя агенты. У выніку расходы могуць хутка выходзіць за межы бюджэту.

Напрыклад, Uber выдаткавала гадавы бюджэт на ШІ-інструменты для праграмавання ўжо да красавіка. Microsoft праз некалькі месяцаў пасля выдачы распрацоўшчыкам ліцэнзій Claude Code пачала іх адклікаць. Супрацоўнік Priceline расказаў, што падаўжэнне кантракту з Cursor аказалася ў 4–5 разоў даражэй, чым раней.

«Шэсць месяцаў таму размовы з кліентамі былі пра тое, што ШІ можа рабіць і ці дастаткова ён добры. Цяпер размовы ўжо не пра гэта. Цяпер пытаюцца: мы выдаем так шмат, якую бачнасць расходаў вы даяце, якія ёсць механізмы аўдыту, кантролю токенаў і эфектыўнасці мадэляў?» — расказаў кіраўнік enterprise-напрамку OpenAI Аляксандр Эмбірыкас.

На гэтым фоне Linux Foundation абвясціла пра стварэнне Tokenomics Foundation — арганізацыі, якая павінна распрацаваць стандарты для ўліку і кіравання расходамі на ШІ-токены. Ідэя ў тым, каб да токенаў прымяніць падобную метрыку, якую прымяняюць да воблачных расходаў.

Паводле дадзеных FinOps Foundation, некамерцыйнай арганізацыі пры Linux Foundation, яшчэ вясной кампаніі пачалі скардзіцца, што ўжо ў красавіку перавышаюць гадавы бюджэт на токены ў некалькі разоў. Размова рэзка змянілася з «выкарыстоўвайце ШІ хутчэй і больш» на «нам трэба абмежаванні і правілы кантролю».

«Вы обязаны использовать ИИ? У нас такого нет»: президент Anthropic — о токенмаксинге
«Вы абавязаны выкарыстоўваць ШІ? У нас такога няма»: прэзідэнт Anthropic — пра токенмаксінг
Па тэме
«Вы абавязаны выкарыстоўваць ШІ? У нас такога няма»: прэзідэнт Anthropic — пра токенмаксінг

Рэальная аддача ад такіх расходаў пакуль не заўсёды відавочная. Даследаванне Faros AI сярод 20 тысяч распрацоўшчыкаў паказала, што прадукцыйнасць расце, але разам з ёй павялічваецца колькасць багаў і выпраўленняў. Jellyfish таксама выявіла, што інжынеры, якія найбольш актыўна выкарыстоўваюць ШІ, прыкладна ўдвая больш прадуктыўныя за астатніх, але выдаюць у 10 разоў больш токенаў.

Паводле кіраўніка даследаванняў платформы для аналізу працы распрацоўшчыкаў Jellyfish Нікалася Аркалана, галоўнае пытанне ў тым, ці акупляецца экстрэмальнае спажыванне ШІ праз рэальную бізнес-каштоўнасць напісанага кода. Большасць кампаній пакуль не ўмеюць дакладна гэта вымяраць.

На рынку ўжо з’яўляюцца інструменты для кантролю такіх расходаў. Стартапы накшталт Pay-i і Paid дапамагаюць адсочваць кошт і эфектыўнасць ШІ-інвестыцый. Jellyfish, Waydev і Faros AI прапануюць маніторынг ШІ-агентаў і ацэнку ROI для такіх інструментаў. Datadog, New Relic і Ramp таксама дадаюць функцыі для назірання за расходамі на токены, GPU і ШІ-інфраструктуру.

Адзін з магчымых трэндаў — аўтаматычны выбар больш таннай мадэлі для канкрэтнай задачы. Замест таго каб заўсёды выкарыстоўваць самы магутны і дарагі варыянт, сістэмы змогуць накіроўваць частку запытаў да больш танных мадэляў, калі іх магчымасцей дастаткова.

Рынки перешли в режим «жадности» на фоне ИИ-бума — CEO Goldman Sachs
Рынкі перайшлі ў рэжым «сквапнасці» на фоне ШІ-буму — CEO Goldman Sachs
Па тэме
Рынкі перайшлі ў рэжым «сквапнасці» на фоне ШІ-буму — CEO Goldman Sachs
Стартап тратит на ИИ больше чем на сотрудников — CEO считает что так будут делать все
Стартап тратіць на ШІ больш, чым на супрацоўнікаў — CEO лічыць, што так будуць рабіць усе
Па тэме
Стартап тратіць на ШІ больш, чым на супрацоўнікаў — CEO лічыць, што так будуць рабіць усе
Инженер придумал как платить за ИИ меньше: его инструмент удаляет до 90% лишних токенов
Інжынер прыдумаў, як плаціць за ШІ менш: яго інструмент выдаляе да 90% лішніх токенаў
Па тэме
Інжынер прыдумаў, як плаціць за ШІ менш: яго інструмент выдаляе да 90% лішніх токенаў
Чытайце таксама
Кампаніі масава павялічваюць бюджэты на ШІ
Кампаніі масава павялічваюць бюджэты на ШІ
Кампаніі масава павялічваюць бюджэты на ШІ
2 каментарыя
Кампаніі пачынаюць лічыць «токены» супрацоўнікаў — аказалася, ШІ таксама каштуе грошай
Кампаніі пачынаюць лічыць «токены» супрацоўнікаў — аказалася, ШІ таксама каштуе грошай
Кампаніі пачынаюць лічыць «токены» супрацоўнікаў — аказалася, ШІ таксама каштуе грошай
Токены з'ядаюць бюджэты: кампаніі шукаюць спосабы скараціць выдаткі на ШІ
Токены з'ядаюць бюджэты: кампаніі шукаюць спосабы скараціць выдаткі на ШІ
Токены з'ядаюць бюджэты: кампаніі шукаюць спосабы скараціць выдаткі на ШІ
«Мы выдаем занадта шмат»: кампаніі вучацца кантраляваць выдаткі на ШІ-токены
«Мы выдаем занадта шмат»: кампаніі вучацца кантраляваць выдаткі на ШІ-токены
«Мы выдаем занадта шмат»: кампаніі вучацца кантраляваць выдаткі на ШІ-токены

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.