Meta запустила новое семейство опенсорсных ИИ-моделей Llama 4. В него вошли три мультимодальные модели: Scout, Maverick и Behemoth, которые поддерживают не только текстовые запросы, но также обрабатывают изображения, видео и другой контент. Они обучались на огромном количестве немаркированных текстовых, графических и видеоданных.
Meta запустила новое семейство опенсорсных ИИ-моделей Llama 4. В него вошли три мультимодальные модели: Scout, Maverick и Behemoth, которые поддерживают не только текстовые запросы, но также обрабатывают изображения, видео и другой контент. Они обучались на огромном количестве немаркированных текстовых, графических и видеоданных.
Как отмечает TechCrunch, успех моделей DeepSeek, которые не хуже или даже лучше предыдущих поколений флагманских моделей Llama, заставил Meta ускорить разработку в этом направлении. А её сотрудники изо всех сил пытаются понять, как китайский стартап смог снизить стоимость разработки и запуска моделей R1 и V3.
Llama 4 Scout имеет 109 млрд параметров, включая 17 млрд активных и 16 «экспертных», и контекстное окно в 10 млн токенов. Meta утверждает, что она превосходит Gemma 3, Gemini 2.0 Flash-Lite и Mistral 3.1 в обработке разных типов задач.
Llama 4 Maverick имеет 400 млрд параметров, в том числе 17 млрд активных и 128 «экспертных». Контекстное окно — 1 млн токенов. По словам разработчиков, модель превосходит GPT-4o и Gemini 2.0 Flash на разных бенчмарках, а также сравнима с DeepSeek V3 в рассуждениях и написании кода.
Llama 4 Behemoth имеет около 2 трлн параметров, включая 288 млрд активных и 16 «экспертных». Она обгоняет на бенчмарках GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro. Модель продолжает обучаться, поэтому пока публично не доступна. Scout и Maverick доступны на сайте llama.com и на Hugging Face.
Помимо этого, на Llama 4 в 40 странах мира переведён фирменный ИИ-помощник Meta AI, интегрированный в WhatsApp, Messenger и Instagram. Но обработка мультимодальных запросов пока ограничена английским языком и доступна только в США.
Llama 4 — первая линейка ИИ-моделей с «мультиэкспертной» архитектурой (mixture-of-experts, MoE), которая более эффективна при обучении и инференсе. Такая архитектура позволяет модели разбивать задачи на подзадачи, а затем делегировать их более мелким и специализированным «экспертным» моделям. При этом ни одна из моделей Llama 4 не является «рассуждающей», как GPT-o1 или GPT-o3-mini от OpenAI, которые перепроверяют свои ответы, прежде чем выдать их пользователю.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.