Компании, которые активно внедряют ИИ в работу, стали хорошенько задумываться о его реальной стоимости. Новая метрика — токены, единицы вычислений, которые расходуются каждый раз, когда человек обращается к ИИ. Некоторые компании отслеживают, сколько токенов «сжигает» каждый сотрудник, чтобы ограничить неэффективное или нецелевое использование, пишет Wall Street Journal.
Компании, которые активно внедряют ИИ в работу, стали хорошенько задумываться о его реальной стоимости. Новая метрика — токены, единицы вычислений, которые расходуются каждый раз, когда человек обращается к ИИ. Некоторые компании отслеживают, сколько токенов «сжигает» каждый сотрудник, чтобы ограничить неэффективное или нецелевое использование, пишет Wall Street Journal.
Например, платформа автоматизации Zapier запустила внутреннюю панель, где видно, как сотрудники используют ИИ и сколько токенов при этом тратят. «У нас появилась новая статья расходов», — говорит директор по ИИ-трансформации компании Брэндон Саммут. По его словам, помощь ИИ — будь то ответ на тикет поддержки или помощь в закрытии сделки — имеет цену, и компаниям приходится учитывать её в своих расчётах.
Токены — это базовая единица вычислений для ИИ-моделей. Например, чтобы сгенерировать около 750 слов текста, требуется примерно 1000 токенов. Когда речь идёт о коде, видео, аудио или сложных задачах с ИИ-агентами, расход токенов может расти очень быстро. Стоимость токенов со временем падает, но использование ИИ в компаниях растёт, поэтому общий счёт всё равно увеличивается.
Компании начинают анализировать эти расходы и смотреть, кто использует ИИ эффективно. Если один сотрудник тратит в пять раз больше токенов, чем коллеги, это может означать либо неэффективность, либо наоборот очень высокую продуктивность. «Мы пытаемся понять, это полезный паттерн, который стоит масштабировать, или анти-паттерн, от которого нужно отучать», — говорит Саммут.
Иногда расходы оказываются неожиданно большими. В стартапе Vercel инженер запустил команду ИИ-агентов, чтобы проанализировать научную статью и создать сервис на её основе. За один день агенты написали ценный код, на который у людей ушли бы недели или месяцы. Но токены обошлись примерно в $10 тысяч. «Это немного похоже на то, как будто вы дали людям пожарный шланг с топливом», — сравнил CEO компании Гильермо Раух.
Исследователь Брайан Джабарян отмечает, что многие компании изначально считали ИИ почти бесплатным источником роста продуктивности, но реальность оказалась иной. Например, если ИИ плохо выполняет задачу, компания может потратить дополнительные деньги на исправление ошибок людьми или новыми запросами к ИИ. В компаниях с сотнями тысяч сотрудников такие расходы могут быстро стать серьёзной статьёй расходов.
В стартапе Kumo AI токены начали отслеживать по каждому инженеру. Кофаундер Хема Рагхаван говорит, что лучшие разработчики используют ИИ-агентов как «армию младших помощников». Некоторые инженеры, например, уезжают кататься на лыжах на выходные, а их агенты продолжают выполнять задачи.
Эксперты ожидают, что в ближайшие годы компании начнут вводить правила использования токенов — например, ограничивать, какие модели можно применять для конкретных задач. А руководители всё чаще будут смотреть на резкие всплески расходов. Как говорит Раух из Vercel, иногда большие траты могут означать огромную пользу: потратив $10 тысяч за день, компания могла сэкономить миллионы долларов. Но риск злоупотреблений тоже есть — сотрудники могут использовать токены для личных проектов или сторонних стартапов.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.