Стартап Runway, который стоит за нейросетью Stable Diffusion для генерации изображений по текстовому описанию, представил новую: она умеет создавать по тексту 3-секундные видеоролики.
Стартап Runway, который стоит за нейросетью Stable Diffusion для генерации изображений по текстовому описанию, представил новую: она умеет создавать по тексту 3-секундные видеоролики.
Новая модель назвали Gen-2. Изначально она будет доступна в канале Runway в Discord. Желающим опробовать её нужно записаться в лист ожидания.
Еа вход модель может принимать как текст, так и картинки, а также и то и другое сразу. Есть опции стилизации видеороликов по картинке или текстовому описанию, масок — можно прописывать инструкции для модификации отдельных объектов на входном видео — и разные другие функции.
По соображениям безопасности и конкуренции выпускать новую систему во всеобщий доступ сразу не стали. Также, в отличие от Stable Diffusion, авторы не будут публиковать исходный код Gen-2.
Исследовательские работы по преобразованию текста в видео с помощью ИИ в прошлом году выложили Meta и Google. В Runway отмечают, что стали первыми, кто дал подобную модель в руки широкой публики. Разработчики надеются, что Gen-2 заинтересует создателей контента и кинофильмов.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.