Зніжэнне кошту токенаў само па сабе не дапаможа кампаніям скараціць выдаткі на штучны інтэлект. Асноўная праблема — у неэфектыўнай архітэктуры карпаратыўных ШІ-сістэм, лічыць віцэ-прэзідэнт Salesforce Суміт Агравал.
Зніжэнне кошту токенаў само па сабе не дапаможа кампаніям скараціць выдаткі на штучны інтэлект. Асноўная праблема — у неэфектыўнай архітэктуры карпаратыўных ШІ-сістэм, лічыць віцэ-прэзідэнт Salesforce Суміт Агравал.
Паводле Агравала, апошнія два гады бізнес імкнуўся запускаць як мага больш ШІ-праектаў, падключаць супрацоўнікаў і разгортваць агентаў. Так кампаніі спрабавалі зразумець, якія працэсы можна аўтаматызаваць, якія мадэлі дастаткова надзейныя і ці гатовы работнікі карыстацца новымі інструментамі.
Цяпер прыярытэты змяніліся. «Амаль на кожнай сустрэчы з кіраўніцтвам пытанне гучыць ужо не як „Як нам атрымаць больш ШІ?“ ці „Якая мадэль самая разумная?“. Цяпер пытаюцца: „Як дасягнуць значных вынікаў і пры гэтым кантраляваць выдаткі на ШІ?“» — расказаў Агравал.
Распрацоўшчыкі мадэляў адказваюць на гэты запыт зніжэннем цэн і ўкараненнем кэшавання. Аднак больш танныя токены не вырашаюць асноўную праблему. «Сучасная ШІ-інфраструктура больш нагадвае сіта: на кожным этапе праз яго ўцякаюць токены і долары. Прапускаць больш танныя токены праз дзіравую аснову — нежыццяздольнае рашэнне», — адзначыў топ-менеджар.
Першай прычынай перарасходу Агравал назваў перагружаны кантэкст. Чым больш інфармацыі кампанія змяшчае ў промпт, тым вышэй кошт запыту і верагоднасць таго, што мадэль адхіліцца ад задачы. Таму даныя неабходна загадзя ачысціць, аб’яднаць і структураваць.
«Агент заўсёды павінен атрымліваць правільныя звесткі пра кліента, рахунак, палітыку, транзакцыю і апошнія дзеянні — не з перагружанага промпту, а з інфраструктуры, якая ляжыць у аснове кожнага ўзаемадзеяння», — патлумачыў Агравал.
Іншая крыніца выдаткаў — некантралюемы доступ да карпаратыўных дадзеных. Без каталогаў, правілаў доступу і паказчыкаў якасці ШІ-агенты вымушаны самастойна шукаць дакладную інфармацыю ў сховішчах, а затым яе пераправяраць. На гэта сыходзяць дадатковыя токены, а адказы становяцца менш прадказальнымі.
Кампаніі таксама часта даручаюць любыя задачы самым магутным мадэлям. «Алгарытмічная грубая сіла — адпраўка кожнага задання перадавой мадэлі — адна з самых затратных звычак бізнесу», — заявіў эксперт.
Паводле яго, мадэлі варта разглядаць як набор розных інструментаў. Невялікія сістэмы падыходзяць для пошуку і класіфікацыі, спецыялізаваныя — для галіновых працэсаў, а найбольш магутныя варта выкарыстоўваць толькі для новых задач, складаных разважанняў і рашэнняў, якія патрабуюць асабліва высокай дакладнасці.
Скараціць выдаткі дапамагаюць таксама пастаянная памяць агентаў, кэшаванне запытаў, паўторнае выкарыстанне эмбедынгаў і загадзя падрыхтаваных адказаў. Без гэтых механізмаў сістэма пры кожным звароце нанова загружае гісторыю, аднаўляе кантэкст і апрацоўвае ўжо знаёмыя запыты.
«Кожны агент без памяці пачынае ўзаемадзеянне з нуля. Яму даводзіцца паўторна загружаць кантэкст, апрацоўваць гісторыю і нанова выяўляць выключэнні, якія ўжо былі вырашаны», — падкрэсліў віцэ-прэзідэнт Salesforce.
Па ацэнцы Агравала, перадача неапрацаваных даных непасрэдна ў промпт можа павялічваць расход токенаў у пяць-дзесяць разоў. Пры цане ад $10 да $15 за мільён токенаў выдаткі хутка накопліваюцца, калі карпаратыўныя агенты штодня апрацоўваюць тысячы запытаў.
«Кожная кампанія можа купіць больш токенаў. Але толькі нямногія ўмеюць здабываць больш карысці з меншай іх колькасці», — падсумаваў Агравал. На яго думку, перавагу атрымаюць не кампаніі, якія выкарыстоўваюць найбуйнейшыя мадэлі і самыя доўгія кантэкстныя вокны, а тыя, хто навучыцца ператвараць выдаткі на ІІ у кіраваныя і вымяральныя вынікі.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.