Google паказала генератар відэа паводле тэкставага апісання Lumiere

Стваральнікі называюць сэрвіс «мадэллю прасторава-часавай дыфузіі для рэалістычнай генерацыі відэа», заснаванай на штучным інтэлекце. Адрозненнем Lumiere ад аналагаў стала ўнікальная архітэктура мадэлі: відэа на ўсёй яго працягласці генеруецца за адзін праход. Іншыя мадэлі генеруюць некалькі ключавых кадраў, а затым робяць інтэрпаляцыю па часе.

Генератар Google працуе ў некалькіх рэжымах. Сэрвіс можа  пераўтвараць тэкст у відэа, канвертаваць статычныя выявы ў дынамічныя, ствараць ролікі ў зададзеным стылі на аснове ўзору, рэдагаваць існае відэа паводле пісьмовых падказак, аніміраваць пэўныя вобласці статычнай выявы або рэдагаваць відэа фрагментарна.

У кампаніі растлумачылі, што мадэль навучалі на наборы даных, які ўключае 30 мільёнаў ролікаў з тэкставымі апісаннямі. Відэа маюць даўжыню 80 кадраў з частатой 16 кадраў на секунду. Базавая мадэль навучаная на разрознасці 128×128 пікселяў. Lumiere генеруе пяцісекундныя ролікі з разрознасцю 1024×1024 пікселяў.

Раней Google паказала мадэль Imagen Video, якая генеруе ролікі разрознасцю 1280×768 пікселяў з частатой кадра 24 кадры на секунду. Аднак мінусам была меншая рэалістычнасць, што назіраецца і ў аналагічных генератарах, такіх як Make-A-Vide ад Meta, Runway Gen2 і Stable Video Diffusion.

Google адзначыла, што разумее пагрозу, якую могуць з’яўляць падобныя праекты. «Асноўная нашая мэта ў гэтай працы — даць карыстальнікам-пачаткоўцам магчымасць генераваць візуальны кантэнт гнутка і творча. Аднак існуе рызыка неправамернага [стварэння] падробак або шкоднага кантэнту пры дапамозе нашай тэхналогіі, і мы лічым, што вельмі важна распрацоўваць і прымяняць інструменты выяўлення выпадкаў прадузятасці і зламыснага выкарыстання, каб забяспечыць бяспечную і добрасумленную працу [мадэлі]», — заявілі ў кампаніі.

Google абвінаваціў расійскія спецслужбы ў арганізацыі кібератак

Па тэме

Google абвінаваціў расійскія спецслужбы ў арганізацыі кібератак

Ученые выяснили, почему качество поиска Google сильно ухудшилось

По теме

Ученые выяснили, почему качество поиска Google сильно ухудшилось

Google представила функцию поиска всего, что есть на экране смартфона

По теме

Google представила функцию поиска всего, что есть на экране смартфона