Зачем скупали? У компаний простаивает 95% ИИ-мощностей
Новые данные об использовании облачных ресурсов показывают, что на фоне многомиллиардных вложений в ИИ-инфраструктуру большая часть вычислительных мощностей попросту простаивает.
Новые данные об использовании облачных ресурсов показывают, что на фоне многомиллиардных вложений в ИИ-инфраструктуру большая часть вычислительных мощностей попросту простаивает.
Новые данные об использовании облачных ресурсов показывают, что на фоне многомиллиардных вложений в ИИ-инфраструктуру большая часть вычислительных мощностей попросту простаивает.
Платформа для оптимизации облачных расходов Cast AI, работающая в том числе с BMW и Cisco, опубликовала доклад State of Kubernetes Optimization Report на основе данных 23 000 кластеров тысяч компаний. Оказалось, что в среднем организации держат в резерве примерно в 20 раз больше GPU-мощностей, чем реально используют в любой момент времени. Среднее использование GPU по корпоративным серверам — 5%. CPU загружены чуть лучше, но не намного: 8%.
Цена вопроса немалая. Простаивающий CPU теряет несколько центов в час, тогда как неиспользуемый GPU — уже несколько долларов. При этом GPU могут стоить до 50 раз дороже. Особенно болезненно это выглядит на фоне дефицита и роста цен на топовые чипы вроде Nvidia Blackwell, за которыми сейчас выстроилась очередь.
Глава Cast AI Лоран Жиль объясняет происходящее структурой рынка: в отличие от обычных облачных ресурсов, которые можно масштабировать по требованию, GPU-мощности часто берутся по долгосрочным контрактам — просто потому что сейчас они есть, а завтра, может, и нет.
«Факт покупки никак не коррелирует с тем, нужны ли они тебе на самом деле, — говорит он. — Ты покупаешь не потому что они нужны. Ты покупаешь потому что они были доступны». Здоровым показателем утилизации GPU в Cast AI считают около 50%. «Я хочу, чтобы CTO спрашивали свои команды: у нас уже есть несколько тысяч этих GPU — как мы их используем? И если задействовано только 5%, то прежде чем покупать новые машины, у вас в аккаунте есть ещё в 20 раз больше мощностей, о которых вы просто не знали», — отмечает Жиль.


Релоцировались? Теперь вы можете комментировать без верификации аккаунта.