Снижение стоимости токенов само по себе не поможет компаниям сократить расходы на искусственный интеллект. Основная проблема заключается в неэффективной архитектуре корпоративных ИИ-систем, считает вице-президент Salesforce Сумит Агравал.
Снижение стоимости токенов само по себе не поможет компаниям сократить расходы на искусственный интеллект. Основная проблема заключается в неэффективной архитектуре корпоративных ИИ-систем, считает вице-президент Salesforce Сумит Агравал.
По словам Агравала, в последние два года бизнес стремился запускать как можно больше ИИ-проектов, подключать сотрудников и развертывать агентов. Так компании пытались понять, какие процессы можно автоматизировать, какие модели достаточно надежны и готовы ли работники пользоваться новыми инструментами.
Теперь приоритеты изменились. «Почти на каждой встрече с руководством вопрос уже звучит не как „Как нам получить больше ИИ?“ или „Какая модель самая умная?“. Теперь спрашивают: „Как добиться значимых результатов и при этом контролировать расходы на ИИ?“» — рассказал Агравал.
Разработчики моделей отвечают на этот запрос снижением цен и внедрением кеширования. Однако более дешевые токены не решают основную проблему. «Современная ИИ-инфраструктура больше похожа на сито: на каждом этапе работы через него утекают токены и доллары. Пропускать более дешевые токены через дырявую основу — неустойчивое решение», — отметил топ-менеджер.
Первой причиной перерасхода Агравал назвал перегруженный контекст. Чем больше информации компания помещает в промпт, тем выше стоимость запроса и вероятность того, что модель отклонится от задачи. Поэтому данные необходимо заранее очистить, объединить и структурировать.
«Агент всегда должен получать правильные сведения о клиенте, счете, политике, транзакции и последних действиях — не из перегруженного промпта, а из инфраструктуры, лежащей в основе каждого взаимодействия», — объяснил Агравал.
Другой источник расходов — неконтролируемый доступ к корпоративным данным. Без каталогов, правил доступа и показателей качества ИИ-агенты вынуждены самостоятельно искать достоверную информацию в хранилищах, а затем перепроверять результаты. На это уходят дополнительные токены, а ответы становятся менее предсказуемыми.
Компании также часто поручают любые задачи самым мощным моделям. «Алгоритмическая грубая сила — отправка каждого задания передовой модели — одна из самых дорогостоящих привычек бизнеса», — заявил эксперт.
По его словам, модели следует рассматривать как набор разных инструментов. Небольшие системы подходят для поиска и классификации, специализированные — для отраслевых процессов, а наиболее мощные следует использовать только для новых задач, сложных рассуждений и решений, требующих особенно высокой точности.
Сократить расходы помогают и постоянная память агентов, кеширование запросов, повторное использование эмбеддингов и заранее подготовленных ответов. Без этих механизмов система при каждом обращении заново загружает историю, восстанавливает контекст и обрабатывает уже знакомые запросы.
«Каждый агент без памяти начинает взаимодействие с нуля. Ему приходится повторно загружать контекст, обрабатывать историю и заново обнаруживать исключения, которые уже были разрешены», — подчеркнул вице-президент Salesforce.
По оценке Агравала, передача необработанных данных непосредственно в промпт может увеличивать расход токенов в пять-десять раз. При цене от $10 до $15 за миллион токенов затраты быстро накапливаются, если корпоративные агенты ежедневно обрабатывают тысячи запросов.
«Каждая компания может купить больше токенов. Но лишь немногие умеют извлекать больше пользы из меньшего их количества», — заключил Агравал. По его мнению, преимущество получат не компании, использующие крупнейшие модели и самые длинные контекстные окна, а те, кто научится превращать расходы на ИИ в управляемые и измеримые результаты.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.