Meta выпусціла новае пакаленне ШІ-мадэляў Llama 4 з «мультыэкспертнай» архітэктурай

Як адзначае TechCrunch, поспех мадэляў DeepSeek, якія не горшыя або нават лепшыя за папярэднія пакаленні флагманскіх мадэляў Llama, прымусіў Meta паскорыць распрацоўку ў гэтым напрамку. А яе супрацоўнікі з усіх сіл спрабуюць зразумець, як кітайскі стартап здолеў знізіць кошт распрацоўкі і запуску мадэляў R1 і V3.

Llama 4 Scout мае 109 млрд параметраў, у тым ліку 17 млрд актыўных і 16 «экспертных», а кантэкстнае акно складае 10 млн токенаў. Meta сцвярджае, што яна пераўзыходзіць Gemma 3, Gemini 2.0 Flash-Lite і Mistral 3.1 у апрацоўцы розных тыпаў задач.

Llama 4 Maverick мае 400 млрд параметраў, у тым ліку 17 млрд актыўных і 128 «экспертных». Кантэкстнае акно — 1 млн токенаў. Паводле распрацоўшчыкаў, мадэль пераўзыходзіць GPT-4o і Gemini 2.0 Flash у розных бенчмарках, а таксама параўнальная з DeepSeek V3 у разважаннях і напісанні кода.

Llama 4 Behemoth мае каля 2 трлн параметраў, у тым ліку 288 млрд актыўных і 16 «экспертных». Яна апярэджвае ў бенчмарках GPT-4.5, Claude Sonnet 3.7 і Gemini 2.0 Pro. Мадэль працягвае навучанне, таму пакуль публічна недаступная. Scout і Maverick даступныя на сайце llama.com і на Hugging Face.

Акрамя гэтага, на Llama 4 у 40 краінах свету пераключаны фірменны ШІ-памочнік Meta AI, інтэграваны ў WhatsApp, Messenger і Instagram. Але апрацоўка мультымадальных запытаў пакуль абмежаваная англійскай мовай і даступная толькі ў ЗША.

Llama 4 — першая лінейка ШІ-мадэляў з «мультыэкспертнай» архітэктурай (mixture-of-experts, MoE), якая больш эфектыўная пры навучанні і інферэнсе. Такая архітэктура дазваляе мадэлі разбіваць задачы на падзадачы, а затым дэлегаваць іх больш дробным і спецыялізаваным «экспертным» мадэлям. Пры гэтым ніводная з мадэляў Llama 4 не з’яўляецца «разважальнай», як GPT-o1 або GPT-o3-mini ад OpenAI, якія пераправяраюць свае адказы перад тым, як выдаць іх карыстальніку.