OpenAI презентовала свой первый собственный процессор под названием Jalapeño, разработанный специально для работы уже обученных ИИ-моделей в ответ на запросы пользователей. Чип был спроектирован и произведён в партнёрстве с Broadcom, причём в самой OpenAI отметили, что их собственные ИИ-модели помогали инженерам в разработке его архитектуры.
OpenAI презентовала свой первый собственный процессор под названием Jalapeño, разработанный специально для работы уже обученных ИИ-моделей в ответ на запросы пользователей. Чип был спроектирован и произведён в партнёрстве с Broadcom, причём в самой OpenAI отметили, что их собственные ИИ-модели помогали инженерам в разработке его архитектуры.
Сейчас процессор проходит тестирование, но первые тесты уже показывают значительное преимущество по производительности на ватт по сравнению с текущими флагманскими решениями на рынке.
Собственные ИИ-ускорители позволят OpenAI снизить зависимость от дефицитных и дорогих GPU Nvidia. Ранее по пути оптимизации инфраструктуры пошли Google и Amazon.
Jalapeño заточен под инференс и оптимизирован под реальные рабочие нагрузки ИИ, особенно под работу кодинговых моделей в реальном времени, где важна низкая стоимость эксплуатации. Тяжёлые задачи (вроде предварительного обучения огромных моделей с нуля) компания пока продолжит выполнять на железе от Nvidia.
Снижение стоимости инференса даже на несколько процентов критически важно для экономики OpenAI. Компания стремится контролировать и оптимизировать вообще все уровни своего стека — от архитектуры чипов, ядер и систем памяти до дата-центров и софта, чтобы сделать работу моделей быстрее и дешевле для конечных пользователей.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.