Сузаснавальнік Databricks і Perplexity Эндзі Канвінскі абвясціў конкурс K Prize з галоўным прызам у памеры $1 мільёна для даследчыкаў, якія змогуць палепшыць здольнасць АІ у праграмаванні.
Сузаснавальнік Databricks і Perplexity Эндзі Канвінскі абвясціў конкурс K Prize з галоўным прызам у памеры $1 мільёна для даследчыкаў, якія змогуць палепшыць здольнасць АІ у праграмаванні.
Канвінскі прапаноўвае ўзнагароджанне таму, хто зможа дамагчыся 90% дакладнасці на новым эталонным тэсце, які ацэньвае здольнасць АІ вырашаць задачы праграмавання. Конкурс арыентаваны на адкрытыя мадэлі, у адрозненне ад закрытых сістэм, распрацаваных кампаніямі накшталт OpenAI і Anthropic. Пакінуць заяўку на ўдзел можна тут.
Бізнэсмен падкрэсліў, што нават калі ніхто не дасягне 90% выніку, найлепшая заяўка атрымае не менш за $50 000. Канвінскі лічыць, што «мэта конкурсу — не столькі перамога, колькі стымуляванне інавацый і новых прарываў» у галіне АІ. Каб забяспечыць роўныя ўмовы для ўсіх удзельнікаў, Kaggle дасць вылічальныя рэсурсы распрацоўшчыкам, якія не маюць доступу да дастатковай магутнасці GPU.
Адной з галоўных праблем у галіне АІ-бэнчмаркетынгу з’яўляецца «забруджванне» навучальных даных, калі мадэлі навучаюцца на саміх тэстах, што скажае вынікі. У сувязі з гэтым Канвінскі супрацоўнічае з арганізацыямі SWE-bench і Kaggle для стварэння новага тэсту, які не будзе апублікаваны да моманту падачы мадэляў.
Такі падыход дазволіць дакладней ацаніць рэальныя магчымасці АІ у кадзіраванні. Існы тэст SWE-bench, які выкарыстоўвае рэальныя задачы з GitHub, выявіўся складаным для АІ, і найлепшыя мадэлі дасягаюць толькі 55% дакладнасці. Канвінскі лічыць, што развіццё кампактнейшых і эфектыўнейшых мадэляў АІ мае вялікае будучыню. Замест павелічэння маштабаў вылічэнняў конкурс стымулюе стварэнне больш інавацыйных падыходаў.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.