В этом августе OpenAI неожиданно показала Jalapeño — свой собственный чип (ASIC), созданный специально для ускорения работы ИИ в режиме генерации ответов. Вице-президент компании по железу Ричард Хо в интервью Tom’s Hardware рассказал, как им удалось разработать чип «с нуля» за рекордный срок и почему это не означает замену инженеров.
В этом августе OpenAI неожиданно показала Jalapeño — свой собственный чип (ASIC), созданный специально для ускорения работы ИИ в режиме генерации ответов. Вице-президент компании по железу Ричард Хо в интервью Tom’s Hardware рассказал, как им удалось разработать чип «с нуля» за рекордный срок и почему это не означает замену инженеров.
Создание Jalapeño заняло всего 9 месяцев вместо привычных для индустрии полутора-двух лет. Начинали с нуля — в компании не было готовой кодовой базы для этого проекта.
Ключом к такой скорости стал ИИ — инженеры активно использовали нейросети OpenAI, в основном Codex и Sol, для написания и оптимизации кода.
По словам Хо, компания не заменяла специалистов — наоборот, небольшая команда очень сильных инженеров в связке с ИИ стала гораздо продуктивнее.
Причём инициатива шла снизу: инженеры сами начали тестировать ИИ-модели для рабочих задач на свой страх и риск. Когда стало понятно, что это работает, к проекту подключились исследователи OpenAI, помогавшие команде разбираться с ограничениями моделей и их дообучением.
Когда чип был готов, у команды оставалось всего два месяца на оптимизацию ядер под профильный бенчмарк. Команда была поражена тем, насколько Codex хорош в оптимизации ядер.
Главная цель Jalapeño — повысить эффективность инференса: быстрее отвечать пользователям и снижать стоимость вычислений.
Компания упёрлась не просто в деньги, а в физический лимит электроэнергии, которую можно подвести к дата-центрам. Чем эффективнее чип расходует каждый ватт, тем больше «интеллекта» OpenAI может отдать пользователям.
Ещё один плюс — сквозная разработка (co-design). Купить готовый чип условной Nvidia — отлично, но OpenAI не может широко делиться своими исследовательскими наработками по моделям со сторонними вендорами из-за риска утечек. Наличие собственной команды инженеров по железу, тесно сотрудничающих с исследователями моделей, позволяет делать точечные железные оптимизации под софт прямо в процессе его разработки.
По словам Хо, OpenAI создала новый ориентир для всего рынка: 9 месяцев на разработку чипа с чистого листа.
OpenAI не планирует запирать свои подходы к разработке чипов внутри компании. Они активно общаются с другими вендорами и стартапами, чтобы передать опыт использования ИИ в проектировании микросхем всей отрасли.
Хотя Jalapeño создавался внутри OpenAI, проверки на открытых моделях показали, что Jalapeño хорошо работает с разными LLM и не заточен под модели компании.
Несмотря на успешный запуск своего чипа, OpenAI не собирается полностью переходить на собственное железо просто ради перехода.
Главная цель — минимизация стоимости инфраструктуры. Если сторонний чип от Nvidia, AMD или другого вендора окажется выгоднее по соотношению производительности и стоимости в конкретной задаче, компания будет использовать его.
При этом запрос на вычислительные мощности внутри OpenAI растёт так быстро, что собственного чипа Jalapeño на первых порах всё равно не хватит, чтобы закрыть даже внутренние потребности компании. То есть Jalapeño в первую очередь будет использоваться для собственных нужд.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.