Буйныя камерцыйныя карыстальнікі ШІ-рэдактараў кода спажываюць анамальныя вылічальныя магутнасці і ламаюць падпіскі з «безлімітам», вымушаючы стартапы тэрмінова перагледжваць тарыфы і прадукт.
Буйныя камерцыйныя карыстальнікі ШІ-рэдактараў кода спажываюць анамальныя вылічальныя магутнасці і ламаюць падпіскі з «безлімітам», вымушаючы стартапы тэрмінова перагледжваць тарыфы і прадукт.
У індустрыі для такіх кліентаў з’явілася мянушка inference whales — тых, хто запускаюць доўгія агентныя задачы і разбіваюць запыты на мноства крокаў. У разважаючых мадэляў гэта рэзка павышае кошт інферэнса. Калі такі карыстальнік плаціць фіксаваныя $20–$200 у месяц, сэрвіс застаецца ў мінусе, паколькі яму прыходзіцца аплачваць намнога большыя рахункі за абслугоўванне мадэлі.
Паказальны прыклад — Claude Code ад Anthropic. Па максімальным тарыфе за $200 частка кліентаў за тыдні «спальвала» вылічэнняў на тысячы даляраў. Нефармальны лідэрборд паказаў распрацоўшчыка з амаль 11 мільярдамі токенаў — прыкладна на $35 тысяч інферэнса супраць $200 у месяц. Anthropic спрабуе выправіць сітуацыю: кампанія з 28 жніўня ўводзіць тыднёвыя ліміты і даплату за перавышэнне.
Падобны разварот адбыўся ў Cursor: былы «безлімітны» Pro-тарыф за $20 ператварыўся ў ступеньчатую схему з аплатай «хуткіх» запытаў звыш квоты. Укараненне новых, больш дарагіх мадэляў і недахоп яснай камунікацыі выклікалі ў часткі карыстальнікаў блытаніну і раздражненне. Сам стартап тлумачыць гэта тым, што «далёкабойныя» задачы выдаткоўваюць на парадак больш токенаў, чым простыя.
Надзея, што кошт інферэнса рэзка ўпадзе, на практыцы не апраўдваецца: як толькі з’яўляецца больш моцная мадэль, сэрвісы інтэгруюць яе разам з больш высокім коштам. «Попыт — на лепшую мадэль, кропка… І яна амаль заўсёды каштуе прыкладна аднолькава — гэта край сённяшніх выдаткаў інферэнса», — піша заснавальнік TextQL Ітан Дзін. Нават калі цана за токен зніжаецца, ланцужкі крокаў ШІ-агентаў павялічваюць агульны аб’ём да дзясяткаў і соцень мільёнаў токенаў, вяртаючы выніковы кошт на высокі ўзровень.
Выснова рынку робіцца відавочнай: «безліміт» у кодзінгу пры сучасных ШІ немагчымы. Стартапам прыходзіцца балансаваць паміж якасцю топавых мадэляў, прадказальнасцю выдаткаў і справядлівым доступам для большасці. У бліжэйшай перспектыве сектар, верагодна, пяройдзе на гібрыдныя схемы: базавая падпіска + выразныя тыднёвыя/месячныя квоты, дадатковыя пакеты магутнасці, прыярытызацыя чэргаў і абмежаванні на доўгія агентныя запускі.
Для распрацоўшчыкаў гэта значыць змену звыклых працэсаў: аптымізацыю промптаў, драбленне праектаў, лакальную праверку гіпотэз перад «глыбокімі» прагонамі і больш усвядомлены выбар задач, якія сапраўды варта аддаваць агентам. Для правайдэраў — інвестыцыі ў празрыстыя метрыкі спажывання і зразумелыя ліміты, інакш наступная хваля «кітоў» зноў перакуліць човен.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.