Николай Чикишев 27 марта 2025, 13:49

Alibaba представила новую мультимодальную модель с открытым кодом

Alibaba Cloud анонсировала модель Qwen2.5-Omni-7B из семейства Qwen. Эта мультимодальная модель с открытым исходным кодом способна обрабатывать текст, изображения, аудио и видео, генерируя текстовые ответы и естественную речь.

Оставить комментарий

Alibaba представила новую мультимодальную модель с открытым кодом

Alibaba Cloud анонсировала модель Qwen2.5-Omni-7B из семейства Qwen. Эта мультимодальная модель с открытым исходным кодом способна обрабатывать текст, изображения, аудио и видео, генерируя текстовые ответы и естественную речь.

Модель обладает 7 миллиардами параметров и сочетает высокую эффективность с компактностью, что делает ее подходящей для развертывания на edge-устройствах. Среди возможных применений — создание аудиоописаний для людей с нарушениями зрения или использование в интеллектуальных системах клиентской поддержки. В Alibaba Cloud подчеркивают, что мультимодальность и возможность работы на устройствах пользователей делают модель идеальной для экономически эффективных ИИ-решений.

Qwen2.5-Omni-7B — это универсальная end-to-end модель. В нее встроены специальные технологии: Thinker-Talker Architecture разделяет создание текста и речи, чтобы они не мешали друг другу; TMRoPE помогает синхронизировать видео и звук; а Block-wise Streaming Processing ускоряет аудиоответы, уменьшая задержки. Модель обучена на большом и разнообразном наборе данных, включающем текст, изображения, видео и аудио.

Доступ к Qwen2.5-Omni-7B открыт через Hugging Face и GitHub, а в будущем она появится в Qwen Chat и ModelScope — open-source платформе Alibaba Cloud. Запуск модели происходит на фоне обостряющейся конкуренции в сфере ИИ в Китае, где Alibaba активно наращивает инвестиции. В феврале 2025 года компания объявила о планах вложить свыше $52 млрд в облачные платформы и ИИ-инфраструктуру до 2028 года.

Среди недавних разработок — Qwen 2.5 (сентябрь 2024), Qwen 2.5-Max (январь 2025) и QwQ-32B (март 2025), показавшие результаты, близкие к лидерам рынка. Также были представлены Qwen2.5-VL и Qwen2.5-1M для задач визуального анализа и обработки длинных текстов. Alibaba расширяет партнерства, включая сотрудничество с Apple и BMW в области интеграции ИИ.