🇵🇱 Дедлайн по e-PIT всё ближе ⏳ Поддержите devby из уже уплаченных налогов 💙
Support us

Зачем скупали? У компаний простаивает 95% ИИ-мощностей

Новые данные об использовании облачных ресурсов показывают, что на фоне многомиллиардных вложений в ИИ-инфраструктуру большая часть вычислительных мощностей попросту простаивает.

Оставить комментарий
Зачем скупали? У компаний простаивает 95% ИИ-мощностей

Новые данные об использовании облачных ресурсов показывают, что на фоне многомиллиардных вложений в ИИ-инфраструктуру большая часть вычислительных мощностей попросту простаивает.

Платформа для оптимизации облачных расходов Cast AI, работающая в том числе с BMW и Cisco, опубликовала доклад State of Kubernetes Optimization Report на основе данных 23 000 кластеров тысяч компаний. Оказалось, что в среднем организации держат в резерве примерно в 20 раз больше GPU-мощностей, чем реально используют в любой момент времени. Среднее использование GPU по корпоративным серверам — 5%. CPU загружены чуть лучше, но не намного: 8%.

Цена вопроса немалая. Простаивающий CPU теряет несколько центов в час, тогда как неиспользуемый GPU — уже несколько долларов. При этом GPU могут стоить до 50 раз дороже. Особенно болезненно это выглядит на фоне дефицита и роста цен на топовые чипы вроде Nvidia Blackwell, за которыми сейчас выстроилась очередь.

Глава Cast AI Лоран Жиль объясняет происходящее структурой рынка: в отличие от обычных облачных ресурсов, которые можно масштабировать по требованию, GPU-мощности часто берутся по долгосрочным контрактам — просто потому что сейчас они есть, а завтра, может, и нет.

«Факт покупки никак не коррелирует с тем, нужны ли они тебе на самом деле, — говорит он. — Ты покупаешь не потому что они нужны. Ты покупаешь потому что они были доступны». Здоровым показателем утилизации GPU в Cast AI считают около 50%. «Я хочу, чтобы CTO спрашивали свои команды: у нас уже есть несколько тысяч этих GPU — как мы их используем? И если задействовано только 5%, то прежде чем покупать новые машины, у вас в аккаунте есть ещё в 20 раз больше мощностей, о которых вы просто не знали», — отмечает Жиль.

Цукерберг не знал что грядёт бум ИИ. Но всё равно запасся графическими процессорами
Цукерберг не знал, что грядёт бум ИИ. Но всё равно запасся графическими процессорами
По теме
Цукерберг не знал, что грядёт бум ИИ. Но всё равно запасся графическими процессорами
Одна страна на 3400% увеличила импорт GPU которые очень нужны Китаю
Одна страна на 3400% увеличила импорт GPU, которые очень нужны Китаю
По теме
Одна страна на 3400% увеличила импорт GPU, которые очень нужны Китаю
Поддержите редакцию 1,5% налога: бесплатно и за 5 минут

Как помочь, если вы в Польше

Читайте также
ИИ-стартапы вместо AWS тратят бюджеты на OpenAI и Anthropic
ИИ-стартапы вместо AWS тратят бюджеты на OpenAI и Anthropic
ИИ-стартапы вместо AWS тратят бюджеты на OpenAI и Anthropic
Компании массово увеличивают бюджеты на ИИ
Компании массово увеличивают бюджеты на ИИ
Компании массово увеличивают бюджеты на ИИ
2 комментария
За ИИ-навыки компании готовы переплачивать — вот насколько
За ИИ-навыки компании готовы переплачивать — вот насколько
За ИИ-навыки компании готовы переплачивать — вот насколько
ИИ разогнал спрос на центральные процессоры
ИИ разогнал спрос на центральные процессоры
ИИ разогнал спрос на центральные процессоры

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.