Дапамажыце dev.by 🤍
Падтрымаць

Uber навучылася эканоміць на «мысленні» ШІ. Кошт сесій знізіўся на 52%

Кампанія абмежавала ШІ-агентам кантэкст і знізіла ўзровень разважанняў, каб зэканоміць на токенах. У выніку кошт адной сесіі скараціўся на 52%.

Пакінуць каментарый
Дадай у Google
Uber навучылася эканоміць на «мысленні» ШІ. Кошт сесій знізіўся на 52%

Кампанія абмежавала ШІ-агентам кантэкст і знізіла ўзровень разважанняў, каб зэканоміць на токенах. У выніку кошт адной сесіі скараціўся на 52%.

Як піша VentureBeat, змены з’явіліся пасля таго, як Uber вычарпала гадавы бюджэт на ШІ-інструменты для праграмавання ўжо ў першыя месяцы 2026 года. Пра новыя правілы расказаў вядучы інжынер Uber Удай Кіран Медысеты на канферэнцыі VentureBeat Agentic Infrastructure Stack Summit.

Кампанія цэнтралізавана ставіць налады Claude Code ды іншых інструментаў для распрацоўшчыкаў. Іх эфектыўнасць правяраюць з дапамогай A/B-тэстаў на розных групах супрацоўнікаў. Uber выкарыстоўвае чатыры асноўныя спосабы эканоміі:

  • Абмежаванне кантэксту да 400 000 токенаў. Нават калі мадэль падтрымлівае мільён токенаў, пасля дасягнення парога доўгая гісторыя размовы аўтаматычна сціскаецца. Гэта дазваляе не плаціць за паўторную апрацоўку вялікага аб’ёму дадзеных.

  • Сярэдні ўзровень разважанняў замест высокага. ШІ выдае менш токенаў на абдумванне задач. Паводле Медысеты, для многіх сцэнарыяў гэта аптымальнае суадносіны кошту і якасці. Больш за тое, некаторыя новыя мадэлі пры высокім узроўні разважанняў працуюць нават горш.

  • Рознае час захоўвання кэша. Для асноўнага агента — адна гадзіна, для дапаможных — пяць хвілін. Так Uber пазбягае паўторнай аплаты кантэксту, калі распрацоўшчык ненадоўга адцягваецца ад працы.

  • Адмова ад папярэдняй загрузкі інструментаў MCP. Раней апісанні больш чым 100 інструментаў маглі займаць 50–70 тысяч токенаў яшчэ да першага запыту. Цяпер ШІ загружае патрэбныя інструменты па меры неабходнасці праз камандны радок.

Паводле дадзеных Uber, сукупная аптымізацыя дазволіла знізіць кошт тысячы запытаў амаль на 34% адносна пікавых значэнняў. Кошт адной сесіі скараціўся на 52% у параўнанні з чэрвеньскім максімумам.

Пры гэтым з лютага па жнівень колькасць штотыднёвых запытаў да ШІ-агентаў вырасла ў 9,4 разы, а агульныя выдаткі кампаніі заставаліся прыблізна на адным узроўні з красавіка.

Разработчик устал управлять 20 чатами ИИ-агентов и придумал как с этим бороться
Разработчик устал управлять 20 чатами ИИ-агентов и придумал, как с этим бороться
По теме
Разработчик устал управлять 20 чатами ИИ-агентов и придумал, как с этим бороться

Uber таксама імкнецца даваць агентам толькі неабходную інфармацыю. Замест загрузкі ўсёй унутранай дакументацыі кампанія выкарыстоўвае граф сувязяў паміж сервісамі, камандамі, данымі і кодам.

Паводле Медысеты, да канца кастрычніка граф змяшчаў каля 200 мільёнаў вузлоў і сувязяў. У адным з тэстаў агент з яго дапамогай знайшоў патрэбную табліцу дадзеных за 38 секунд. Без графа той жа агент патраціў больш за 20 хвілін і памылкова вырашыў, што атрымаць дадзеныя немагчыма.

Пры гэтым Uber ацэньвае не толькі эканомію. Кампанія адсочвае колькасць пул-рэквестаў, рэлізаў і тэхнічных дакументаў, а таксама памылкі, адкаты кода і час праверкі змяненняў.

Тысяча ИИ-агентов написала чат-бота без нейросетей. Получилось 640 000 строк Python
Тысяча ИИ-агентов написала чат-бота без нейросетей. Получилось 640 000 строк Python
По теме
Тысяча ИИ-агентов написала чат-бота без нейросетей. Получилось 640 000 строк Python
Разрабам — $1000 продавцам — $100: Salesforce посадила сотрудников на лимиты токенов
Разрабам — $1000, продавцам — $100: Salesforce посадила сотрудников на лимиты токенов
По теме
Разрабам — $1000, продавцам — $100: Salesforce посадила сотрудников на ліміты токенаў
«90% кода пишет и ревьюит сам ИИ»: в команде Claude Code рассказали как проверяют работу ИИ-агентов
«90% кода пішет і рэвьюіт сам ІІ»: у камандзе Claude Code расказалі, як правяраюць работу ІІ-агентаў
По теме
«90% кода пішет і рэвь’юіт сам ШІ»: у камандзе Claude Code расказалі, як правяраюць працу ШІ-агентаў
Чытайце таксама
Распрацоўшчык прыдумаў спосаб зменшыць выдаткі на токены ў разы
Распрацоўшчык прыдумаў спосаб зменшыць выдаткі на токены ў разы
Распрацоўшчык прыдумаў спосаб зменшыць выдаткі на токены ў разы
Токены з'ядаюць бюджэты: кампаніі шукаюць спосабы скараціць выдаткі на ШІ
Токены з'ядаюць бюджэты: кампаніі шукаюць спосабы скараціць выдаткі на ШІ
Токены з'ядаюць бюджэты: кампаніі шукаюць спосабы скараціць выдаткі на ШІ
Кампаніі пераходзяць на танныя ШІ-мадэлі, каб не збанкрутаваць
Кампаніі пераходзяць на танныя ШІ-мадэлі, каб не збанкрутаваць
Кампаніі пераходзяць на танныя ШІ-мадэлі, каб не збанкрутаваць
1 каментарый
Зніжкі не ратуюць: ШІ-агенты спальваюць токены хутчэй, чым падаюць цэны
Зніжкі не ратуюць: ШІ-агенты спальваюць токены хутчэй, чым падаюць цэны
Зніжкі не ратуюць: ШІ-агенты спальваюць токены хутчэй, чым падаюць цэны

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.