WSJ: OpenAI тратит огромное количество денег и времени на разработку GPT-5. Результаты не впечатляют

По данным The Wall Street Journal, OpenAI провела как минимум два крупных учебных запуска, но результаты оказались неудовлетворительными и не оправдали огромные затраты на поддержание новой модели в рабочем состоянии.

Одним из основных препятствий стал недостаток новых данных для обучения модели. Исследователи обнаружили, что имеющиеся данные не позволяют Orion достичь желаемого уровня развития. В середине 2023 года пробный запуск другой модели Arrakis показал, что полномасштабное обучение займет очень много времени и будет стоить дорого.

Проект Orion также столкнулся с внутренней конкуренцией со стороны других проектов OpenAI, таких как облегченный вариант GPT-4 и генератор видео Sora, что привело к борьбе за ограниченные вычислительные ресурсы.

Обучение GPT-5 может обойтись в $500 миллионов за шесть месяцев только на вычислительные расходы. Ожидается, что обучение будущих моделей будет стоить более $1 миллиарда долларов. Сам процесс требует огромных вычислительных ресурсов и может занять несколько месяцев работы дата-центров с десятками тысяч ИИ-ускорителей Nvidia.

OpenAI пересматривает свой подход к обучению, делая упор на способность ИИ к рассуждениям для решения сложных задач, которым модель не обучалась. Модель o1 от OpenAI генерирует несколько ответов и анализирует их в поисках лучшего. Однако исследования Apple показали, что такие модели могут лишь интерпретировать полученные данные, а не решать новые задачи.

Для улучшения Orion компания наняла специалистов для создания новых данных, таких как код и решения математических задач с подробными объяснениями. Также OpenAI использует синтетические данные, созданные другой моделью o1, чтобы избежать проблем с обратной связью при генерации данных ИИ для обучения.

Ожидается, что GPT-5 совершит значительный скачок вперед во всех областях, включая научные открытия и выполнение повседневных задач, таких как запись на прием и бронирование билетов. Также ожидается, что модель будет реже «галлюцинировать» и сможет сомневаться в собственной правоте. По сравнению с GPT-4, работающей на уровне умного старшеклассника, от GPT-5 ждут уровня доктора наук в отдельных задачах.