GPT-5 и Claude Opus достигли уровня экспертов в разных профессиях

Тест охватывает девять секторов экономики США, наиболее значимых для ВВП, включая здравоохранение, финансы, производство и госуправление. В рамках GDPval-v0 модели проверялись на 44 профессиях — от инженеров-программистов и аналитиков до медсестер и журналистов. Эксперты сравнивали отчеты, подготовленные ИИ и профессионалами, и выбирали более качественный.

По данным OpenAI, продвинутая версия GPT-5-high оказалась лучше или на уровне специалистов в 40,6% случаев. Claude Opus 4.1 показал результат 49%, однако в компании считают, что во многом это связано с его «умением» создавать визуально привлекательные материалы. Для сравнения: GPT-4o, выпущенный всего 15 месяцев назад, набрал лишь 13,7%, что, по словам команды OpenAI, демонстрирует стремительный прогресс.

Разработчики отмечают, что нынешняя версия теста охватывает только ограниченный набор задач, в основном связанных с написанием отчетов. В реальной жизни профессии включают гораздо более широкий спектр обязанностей, поэтому в будущем планируется создание более комплексных версий GDPval, учитывающих интерактивные рабочие процессы.