Alibaba представила новую мультимодальную модель с открытым кодом

Модель обладает 7 миллиардами параметров и сочетает высокую эффективность с компактностью, что делает ее подходящей для развертывания на edge-устройствах. Среди возможных применений — создание аудиоописаний для людей с нарушениями зрения или использование в интеллектуальных системах клиентской поддержки. В Alibaba Cloud подчеркивают, что мультимодальность и возможность работы на устройствах пользователей делают модель идеальной для экономически эффективных ИИ-решений.

Qwen2.5-Omni-7B — это универсальная end-to-end модель. В нее встроены специальные технологии: Thinker-Talker Architecture разделяет создание текста и речи, чтобы они не мешали друг другу; TMRoPE помогает синхронизировать видео и звук; а Block-wise Streaming Processing ускоряет аудиоответы, уменьшая задержки. Модель обучена на большом и разнообразном наборе данных, включающем текст, изображения, видео и аудио.

Доступ к Qwen2.5-Omni-7B открыт через Hugging Face и GitHub, а в будущем она появится в Qwen Chat и ModelScope — open-source платформе Alibaba Cloud. Запуск модели происходит на фоне обостряющейся конкуренции в сфере ИИ в Китае, где Alibaba активно наращивает инвестиции. В феврале 2025 года компания объявила о планах вложить свыше $52 млрд в облачные платформы и ИИ-инфраструктуру до 2028 года.

Среди недавних разработок — Qwen 2.5 (сентябрь 2024), Qwen 2.5-Max (январь 2025) и QwQ-32B (март 2025), показавшие результаты, близкие к лидерам рынка. Также были представлены Qwen2.5-VL и Qwen2.5-1M для задач визуального анализа и обработки длинных текстов. Alibaba расширяет партнерства, включая сотрудничество с Apple и BMW в области интеграции ИИ.