OpenAI не полностью довольна новейшими чипами Nvidia и с прошлого года ищет альтернативы. Речь не о «обучении» больших моделей, где Nvidia всё ещё нет равных, а о другом этапе — инференсе, то есть моменте, когда ИИ отвечает пользователю. Именно здесь у OpenAI появились вопросы к скорости и архитектуре оборудования, пишет Reuters.
OpenAI не полностью довольна новейшими чипами Nvidia и с прошлого года ищет альтернативы. Речь не о «обучении» больших моделей, где Nvidia всё ещё нет равных, а о другом этапе — инференсе, то есть моменте, когда ИИ отвечает пользователю. Именно здесь у OpenAI появились вопросы к скорости и архитектуре оборудования, пишет Reuters.
Компаниям сейчас особенно важна скорость отклика — например, в задачах по программированию или когда ИИ взаимодействует с другим софтом. По данным источников издания, OpenAI нужно новое «железо», которое в будущем сможет закрыть около 10% её потребностей в мощностях для инференса. Внутри компании проблема стала особенно заметной на генераторе кода Codex: часть его ограничений сотрудники связывали с использованием GPU Nvidia.
OpenAI уже заключила сделки с AMD и Cerebras, а также вела переговоры с Groq — стартапом, делающим ставку на чипы с большим объёмом встроенной памяти (SRAM), что даёт прирост скорости при инференсе. Но в декабре Nvidia подписала с Groq лицензионное соглашение на $20 млрд, фактически перехватив инициативу. Параллельно Nvidia ведёт переговоры об инвестициях в саму OpenAI — ранее речь шла о вложении до $100 млрд, но сделка затянулась.
При этом публично обе стороны стараются сгладить углы. Глава Nvidia Дженсен Хуанг назвал слухи о напряжении «чепухой», компания заявляет, что её решения обеспечивают лучшую производительность и стоимость владения. В OpenAI подчёркивают, что по-прежнему используют Nvidia для большей части своих инференс-мощностей, а Сэм Альтман назвал её «производителем лучших ИИ-чипов в мире».
Но сам факт активного поиска альтернатив показывает, что рынок вступает в новую фазу. Если раньше главным полем битвы было обучение моделей, то теперь всё большее значение имеет то, как быстро и эффективно они работают в реальных пользовательских сценариях — и здесь доминирование Nvidia впервые подвергается серьёзной проверке.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.