Сооснователь Databricks и Perplexity Энди Конвински объявил конкурс K Prize с главным призом в размере $1 миллиона для исследователей, которые смогут улучшить способность ИИ в программировании.
Сооснователь Databricks и Perplexity Энди Конвински объявил конкурс K Prize с главным призом в размере $1 миллиона для исследователей, которые смогут улучшить способность ИИ в программировании.
Конвински предлагает вознаграждение тому, кто сможет добиться 90% точности на новом эталонном тесте, который оценивает способность ИИ решать задачи программирования. Конкурс ориентирован на открытые модели, в отличие от закрытых систем, разработанных компаниями вроде OpenAI и Anthropic. Оставить заявку на участи можно здесь.
Бизнесмен подчеркнул, что даже если никто не достигнет 90% результата, лучшая заявка получит не менее $50 000. Конвински считает, что «цель конкурса — не столько победа, сколько стимулирование инноваций и новых прорывов» в области ИИ. Чтобы обеспечить равные условия для всех участников, Kaggle предоставит вычислительные ресурсы разработчикам, у которых нет доступа к достаточной мощности GPU.
Одной из главных проблем в области ИИ-бенчмаркинга является «загрязнение» обучающих данных, когда модели обучаются на самих тестах, что искажает результаты. В связи с этим Конвински сотрудничает с организациями SWE-bench и Kaggle для создания нового теста, который не будет опубликован до момента подачи моделей.
Такой подход позволит более точно оценить реальные возможности ИИ в кодировании. Существующий тест SWE-bench, использующий реальные задачи с GitHub, оказался сложным для ИИ, и лучшие модели достигают лишь 55% точности. Конвински считает, что развитие более компактных и эффективных моделей ИИ имеет большое будущее. Вместо увеличения масштабов вычислений конкурс стимулирует создание более инновационных подходов.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.