OpenAI не хватает ресурсов для разработки новых ИИ-моделей

Разработка новых ИИ-моделей в OpenAI замедлилась из-за нехватки данных для обучения, сообщает издание The Information со ссылкой на тестировщиков компании. Новая языковая модель под кодовым названием Orion, по их словам, превосходит предыдущие модели OpenAI, но прогресс не так впечатляет, как при переходе от GPT-3 к GPT-4.

Orion прошел только 20% этапа обучения, но уже по некоторым показателям приближается к GPT-4. Однако производительность модели в задачах, связанных с написанием кода, остается ниже, чем у предшественников. OpenAI называет недостаток данных для дальнейшего обучения основной проблемой.

Для решения этой проблемы компания создала специальную команду, которая изучает альтернативные подходы к развитию модели. В частности, рассматривается использование синтетических данных, генерируемых другими ИИ, что может компенсировать дефицит качественных текстов. Издание отмечает, что для обучения Orion используются данные, сгенерированные другой моделью — o1.

Ранее The Verge сообщало, что OpenAI планирует выпустить Orion в декабре этого года, но, в отличие от GPT-4o и o1, новая модель не будет доступна по подписке ChatGPT. В первую очередь доступ к Orion получат компании-партнеры. В компании опровергли эту информацию, заявив, что в этом году никаких релизов новых моделей не планируется.