Кітайскі ШІ-стартап Moonshot AI апублікаваў вагі і тэхнічны справаздачу сваёй новай мадэлі Kimi K3 на Hugging Face і GitHub. Паводле распрацоўшчыкаў, гэта першая ў свеце адкрытая мадэль класа 3T з колькасцю параметраў да трох трыльёнаў, створаная для вырашэння задач перадавога ўзроўню — ад напісання складанага кода да аналітычнай працы і лагічных разважанняў.
Кітайскі ШІ-стартап Moonshot AI апублікаваў вагі і тэхнічны справаздачу сваёй новай мадэлі Kimi K3 на Hugging Face і GitHub. Паводле распрацоўшчыкаў, гэта першая ў свеце адкрытая мадэль класа 3T з колькасцю параметраў да трох трыльёнаў, створаная для вырашэння задач перадавога ўзроўню — ад напісання складанага кода да аналітычнай працы і лагічных разважанняў.
Разам з самой мадэллю кампанія выклала ў адкрыты доступ і частку інфраструктуры: высокапрадукцыйныя ядры ўвагі (attention kernels), бібліятэку камунікацыі для архітэктуры mixture-of-experts і інструменты для маштабавання ШІ-агентаў. Распрацоўшчыкі сцвярджаюць, што новая архітэктура дае ў 2,5 разы больш прадукцыйнасці пры тых самых вылічальных затратах.
Мадэль нарабіла шуму ў ліпені, калі ў папулярных бенчмарках максімальна набліжалася да перадавых амерыканскіх мадэляў накшталт Fable 5 і GPT-5.6 Sol. Пры гэтым Kimi K3 танней, а цяпер яшчэ і пастаўляецца з адкрытымі вагамі.
Аднак незалежны тэст Брытанскага інстытута кібербяспекі паказаў, што магчымасці мадэлі ў гэтай сферы і ў матэматыцы ўсё яшчэ значна адстаюць ад топавых канкурэнтаў, адзначае Decoder.
Абодва гэтыя прабелы намякаюць на тое, што пры навучанні Kimi K3 магла актыўна выкарыстоўвацца дыстыляцыя — калі больш кампактная мадэль вучыцца на адказах больш магутнай. У гэтым часта абвінавачваюць кітайскіх распрацоўшчыкаў. Але амерыканскія прыхільнікі оўпэнсорсу ўсё часцей лічаць дыстыляцыю цалкам прымальным інжынерным падыходам.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.