Google паказала генератар відэа паводле тэкставага апісання Lumiere
Кампанія паказала АІ-генератар відэа Lumiere, які стварае дынамічныя выявы паводле тэкставага апісання. Распрацоўшчыкі называюць інструмент самым магутным сярод вядомых аналагаў.
Стваральнікі называюць сэрвіс «мадэллю прасторава-часавай дыфузіі для рэалістычнай генерацыі відэа», заснаванай на штучным інтэлекце. Адрозненнем Lumiere ад аналагаў стала ўнікальная архітэктура мадэлі: відэа на ўсёй яго працягласці генеруецца за адзін праход. Іншыя мадэлі генеруюць некалькі ключавых кадраў, а затым робяць інтэрпаляцыю па часе.
Генератар Google працуе ў некалькіх рэжымах. Сэрвіс можа пераўтвараць тэкст у відэа, канвертаваць статычныя выявы ў дынамічныя, ствараць ролікі ў зададзеным стылі на аснове ўзору, рэдагаваць існае відэа паводле пісьмовых падказак, аніміраваць пэўныя вобласці статычнай выявы або рэдагаваць відэа фрагментарна.
У кампаніі растлумачылі, што мадэль навучалі на наборы даных, які ўключае 30 мільёнаў ролікаў з тэкставымі апісаннямі. Відэа маюць даўжыню 80 кадраў з частатой 16 кадраў на секунду. Базавая мадэль навучаная на разрознасці 128×128 пікселяў. Lumiere генеруе пяцісекундныя ролікі з разрознасцю 1024×1024 пікселяў.
Раней Google паказала мадэль Imagen Video, якая генеруе ролікі разрознасцю 1280×768 пікселяў з частатой кадра 24 кадры на секунду. Аднак мінусам была меншая рэалістычнасць, што назіраецца і ў аналагічных генератарах, такіх як Make-A-Vide ад Meta, Runway Gen2 і Stable Video Diffusion.
Google адзначыла, што разумее пагрозу, якую могуць з’яўляць падобныя праекты. «Асноўная нашая мэта ў гэтай працы — даць карыстальнікам-пачаткоўцам магчымасць генераваць візуальны кантэнт гнутка і творча. Аднак існуе рызыка неправамернага [стварэння] падробак або шкоднага кантэнту пры дапамозе нашай тэхналогіі, і мы лічым, што вельмі важна распрацоўваць і прымяняць інструменты выяўлення выпадкаў прадузятасці і зламыснага выкарыстання, каб забяспечыць бяспечную і добрасумленную працу [мадэлі]», — заявілі ў кампаніі.
Читать на dev.by