Новая нейросеть от разработчиков Stable Diffusion генерирует видео по тексту

Новая модель назвали Gen-2. Изначально она будет доступна в канале Runway в Discord. Желающим опробовать её нужно записаться в лист ожидания.

Еа вход модель может принимать как текст, так и картинки, а также и то и другое сразу. Есть опции стилизации видеороликов по картинке или текстовому описанию, масок — можно прописывать инструкции для модификации отдельных объектов на входном видео — и разные другие функции.

По соображениям безопасности и конкуренции выпускать новую систему во всеобщий доступ сразу не стали. Также, в отличие от Stable Diffusion, авторы не будут публиковать исходный код Gen-2.

Исследовательские работы по преобразованию текста в видео с помощью ИИ в прошлом году выложили Meta и Google. В Runway отмечают, что стали первыми, кто дал подобную модель в руки широкой публики. Разработчики надеются, что Gen-2 заинтересует создателей контента и кинофильмов.