Claude 3 выцесніла GPT-4 з вяршыні рэйтынгу моўных мадэляў

Карыстальнікі Chatbot Arena ўводзяць запыт і атрымліваюць два вынікі ад моўных мадэляў, назвы якіх схаваныя. Трэба выбраць найбольш упадабаны вынік. Пляцоўка праводзіць тысячы параўнанняў і запаўняе абнаўляльную рэйтынгавую табліцу. Сайтам кіруе даследчая арганізацыя Large Model Systems Organization (LMSYS ORG), якая займаецца адкрытымі АІ-мадэлямі.

«Упершыню найлепшымі сярод даступных АІ-мадэляў сталі распрацаваныя не OpenAI: Opus для складаных задач, Haiku — для выпадкаў, калі трэба танна і хутка. Гэта абнадзейвае: ад канкурэнцыі распрацоўшчыкаў усе толькі выйграюць. Але GPT-4 ужо больш за год, а канкурэнты дагналі яе толькі цяпер», — пракаментаваў падзею незалежны АІ-даследчык Сайман Уілісан.

Цяпер у рэйтынгу Chatbot Arena прадстаўленыя чатыры версіі GPT-4, паколькі з кожным абнаўленнем вывад мадэлі мяняўся, і некаторыя карыстальнікі аддаюць перавагу канкрэтным версіям або карыстаюцца ўсімі для большай стабільнасці вынікаў. GPT-4 з’явілася ў Chatbot Arena 10 мая 2023 года, праз тыдзень пасля запуску рэйтынгу, і з тых часоў розныя яе версіі нязменна займалі верхнія радкі. Даследчыкі цэняць Chatbot Arena за магчымасць больш-менш аб’ектыўна параўнаць эфектыўнасць чат-ботаў. Ключавым фактарам тут з’яўляецца мноства адзнак, якія складваюцца ў агульную карціну.

Поспех Claude 3 ужо падштурхнуў некаторых карыстальнікаў перайсці на яе з GPT-4. Таксама набірае папулярнасць Gemini Advanced ад Google. Пазіцыі OpenAI пахіснуліся, але кампанія рыхтуе новыя мадэлі, напрыклад, GPT-5.