Сооснователь Databricks предлагает $1 млн за решение задач по кодированию с использованием ИИ

Сооснователь Databricks и Perplexity Энди Конвински объявил конкурс K Prize с главным призом в размере $1 миллиона для исследователей, которые смогут улучшить способность ИИ в программировании.

Оставить комментарий

Конвински предлагает вознаграждение тому, кто сможет добиться 90% точности на новом эталонном тесте, который оценивает способность ИИ решать задачи программирования. Конкурс ориентирован на открытые модели, в отличие от закрытых систем, разработанных компаниями вроде OpenAI и Anthropic. Оставить заявку на участи можно здесь.

Бизнесмен подчеркнул, что даже если никто не достигнет 90% результата, лучшая заявка получит не менее $50 000. Конвински считает, что «цель конкурса — не столько победа, сколько стимулирование инноваций и новых прорывов» в области ИИ. Чтобы обеспечить равные условия для всех участников, Kaggle предоставит вычислительные ресурсы разработчикам, у которых нет доступа к достаточной мощности GPU.

Одной из главных проблем в области ИИ-бенчмаркинга является «загрязнение» обучающих данных, когда модели обучаются на самих тестах, что искажает результаты. В связи с этим Конвински сотрудничает с организациями SWE-bench и Kaggle для создания нового теста, который не будет опубликован до момента подачи моделей.

Такой подход позволит более точно оценить реальные возможности ИИ в кодировании. Существующий тест SWE-bench, использующий реальные задачи с GitHub, оказался сложным для ИИ, и лучшие модели достигают лишь 55% точности. Конвински считает, что развитие более компактных и эффективных моделей ИИ имеет большое будущее. Вместо увеличения масштабов вычислений конкурс стимулирует создание более инновационных подходов.

Режиссер поручил ChatGPT написать сценарий. Чат-бот обманывал, манипулировал и сорвал сроки
По теме
Режиссер поручил ChatGPT написать сценарий. Чат-бот обманывал, манипулировал и сорвал сроки
GitHub Copilot стал полностью бесплатным внутри VSCode
По теме
GitHub Copilot стал полностью бесплатным внутри VSCode
OpenAI хочет откупиться от некоммерческого подразделения, чтобы стать прибыльным бизнесом
По теме
OpenAI хочет откупиться от некоммерческого подразделения, чтобы стать прибыльным бизнесом

Читать на dev.by