Выдаткі на выкарыстанне ШІ імкліва растуць, а многія фінансавыя дырэктары не разумеюць, якія супрацоўнікі, прадукты і ШІ-агенты спажываюць найбольш токенаў. У выніку пры маштабаванні тэхналогіі кампаніі сутыкаюцца з нечакана высокімі рахункамі.
Выдаткі на выкарыстанне ШІ імкліва растуць, а многія фінансавыя дырэктары не разумеюць, якія супрацоўнікі, прадукты і ШІ-агенты спажываюць найбольш токенаў. У выніку пры маштабаванні тэхналогіі кампаніі сутыкаюцца з нечакана высокімі рахункамі.
«Выдаткі на токены для хмарнага кода імкліва растуць — я пастаянна абмяркоўваю гэта з фінансавымі дырэктарамі. Кліенты гатовыя маштабаваць ШІ, але потым натыкаюцца на нечаканую сцяну выдаткаў», — расказала Fortune дырэктар Accenture па ШІ і дадзеных Лань Гуань.
Паводле эксперта, фінансавыя дырэктары буйных кампаній нярэдка бачаць толькі агульны рахунак за хмарныя сервісы. Пры гэтым яны не ведаюць, хто выкарыстоўвае токены, якія падраздзяленні ствараюць ШІ-агентаў і на якія прадукты прыпадае асноўная частка выдаткаў.
У якасці прыкладу яна прывяла рытэйлера, які запусціў рэкамендацыйную сістэму на базе ШІ у некалькіх пілотных крамах. Продажы выраслі, аднак штомесячны рахунак за хмарныя сервісы дасягнуў некалькіх мільёнаў долараў — галоўным чынам праз спажыванне токенаў. «Рост продажаў быў, але такой структуры выдаткаў ніхто не чакаў», — адзначыла Гуань.
У Accenture прапануюць кампаніям укараняць «токеноміку» — сістэму, якая звязвае выдаткі на ШІ з атрыманай бізнес-каштоўнасцю. Кожны запыт, адказ і дзеянне аўтаномнага агента патрабуе токенаў, таму па меры распаўсюджання ШІ іх спажыванне можа вырасці з тысяч да мільёнаў.
Згодна з апытаннем Accenture, толькі 23% кіраўнікоў вышэйшага звяна заявілі, што ШІ ужо прыносіць устойлівую карысць усёй арганізацыі. Пры гэтым, паводле дадзеных Goldman Sachs, сусветныя выдаткі на тэхналогію ў 2026 годзе могуць перавысіць $800 мільярдаў.
Сама Accenture апрацоўвае на адной з унутраных платформаў каля 8,7 трыльёна токенаў на тыдзень. Каб знізіць выдаткі, кампанія распрацавала сістэму AI Token Navigator. Яна накіроўвае запыты да розных мадэляў у залежнасці ад складанасці і важнасці задачы: перадавым, прасцейшым або сістэмам з адкрытымі вагамі.
Паводле ацэнкі Accenture, толькі 10–20% карпаратыўных задач патрабуюць магчымасцяў найбольш магутных мадэляў. Размеркаванне астатніх запытаў паміж больш танымі сістэмамі дазваляе скараціць выдаткі прыкладна ў шэсць разоў у параўнанні з выкарыстаннем толькі перадавых мадэляў.
Гуань прапанавала фінансавым дырэктарам трохэтапны падыход. Спачатку кампаніям неабходна вызначыць, хто і для якіх задач расходуе токены. Затым — падабраць для кожнай задачы адпаведную мадэль і ліквідаваць неэфектыўныя сцэнарыі. Пасля гэтага кантроль выдаткаў варта зрабіць пастаяннай часткай кіравання ШІ.
Падчас аднаго ўнутранага даследавання Accenture выявіла, што выкарыстанне асобнага ШІ-інструмента за дзесяць тыдняў вырасла ў 113 разоў. Пры гэтым на 19% карыстальнікаў прыпадала каля 80% выдаткаў.
Аднак аднаго тэхнічнага кантролю недастаткова. Паводле спікера, па меры патанення і распаўсюджання ШІ супрацоўнікі пачынаюць выкарыстоўваць яго часцей і па звычцы выбіраюць самыя магутныя і дарагія мадэлі нават для простых задач. «Калі памножыць такія паводзіны на ўсю кампанію, выдаткі непрыметна раздзімаюцца», — патлумачыла яна.
Кіраваць выдаткамі на ШІ павінны сумесна фінансавыя, тэхнічныя падраздзяленні і спецыялісты па кібербяспецы. «Маштабаванне ШІ неабавязкова павінна прыводзіць да некантраляваных выдаткаў. Але для гэтага вакол тэхналогіі неабходна выбудаваць сістэму кіравання», — закончыла Гуань.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
Большой вопрос зачем для рекомендаций товаров использовать general-purpose LLM? Разве не эффективнее обучить специализированную модель, которая будет заниматься только этим и уметь только это? И поместить её инхаус.