У OpenAI, Google и Anthropic возникли проблемы при разработке новых ИИ-моделей

Например, новая модель OpenAI под названием Orion не достигла целевой производительности и не станет таким же прорывом по сравнению с предшественницами, каким была GPT-4 по сравнению с GPT-3.5.

Будущая версия Gemini от Google тоже не оправдывает ожиданий разработчиков. Компания больше сосредоточена на улучшении нынешних возможностей Gemini, чем на создании новой революционной модели.

Anthropic отстаёт от графика выпуска долгожданной модели Claude 3.5 Opus. Она показывает лучшие результаты, чем предыдущая версия, но не настолько, как ожидалось, с учётом размера модели и затрат на её разработку.

У всех трёх компаний общие проблемы, главная из которых — истощение источников данных, особенно для специализированных сфер вроде программирования. Разработчики ИИ-моделей всё чаще применяют синтетические данные, но такой подход имеет свои минусы, поскольку контент можно генерировать в любых количествах, но получить уникальные высококачественные наборы данных, особенно текста, без помощи человека очень трудно.

Увеличение затрат на разработку более крупных ИИ-моделей не всегда приносит желаемый результат, что ставит под сомнение законы масштабирования, по которым больше вычислительных мощностей, данных и большие модели должны неизбежно привести к значительному усовершенствованию ИИ.

Эксперты считают, что для дальнейшего прогресса компаниям нужны альтернативные подходы.