Нейронная сеть «раскрашивает» любое видео в стиле Ван Гога и Дали

Оставить комментарий
Нейронная сеть «раскрашивает» любое видео в стиле Ван Гога и Дали

Нейронную сеть научили «перекрашивать» видео в стиле плотен великих художников — Ван Гога, Дали, Пикассо и др, пишет hi-tech.mail.ru. Технология создания «живых картин» опубликована на сайте arxiv.org.

Читать далее...

Нейронная сеть – система искусственного интеллекта, которая обладает способностью распознавать даже серьезно искаженные сигналы, причем качество распознавания повышается в процессе обучения. Для раскрашивания видео использовалась «глубокая» нейронная сеть с несколькими слоями абстракции и обработки информации.

Алексей Досовицкий из университета Фрайбурга (Германия), один из создателей программы, рассказал, что первый слой нейросети используется для анализа картин художника. Он извлекает из полотен информацию об используемых красках, мазках, стиле. Второй слой анализирует кадры фильма. Он распознаёт объекты и фактически превращает их в эскизы будущих картин.

По словам разработчиков, качество результата («раскраски» фильма нейросетью) определяется уровнем обучения каждого из слоёв и корелляцией между ними. Раньше специалисты использовали подобную технологию для обработки отдельных изображений, в случае же с видео сложность заключалась в том, что нейросеть для соседних кадров выдавала слишком различающиеся картинки, так что объединить их в «гладкое» видео не получалось.

Учёные переработали алгоритм таким образом, что нейросеть стала распознавать уже присутствовавшие на кадрах объекты. Также она запоминала предметы, ранее появлявшиеся на экране, и использовала для обработки следующих кадров тот же стиль.

В итоге кадры удалось объединить в красивое видео, параллельно существенно снизив вычислительную сложность алгоритма. Так, если первоначально для обработки одного кадра на ПК с мощной видеокартой серии GeForce Titan X требовалось 10 минут, то впоследствии время сократили до 3 минут.

Учёные отмечают, что на домашних ПК видео будет обрабатываться слишком долго. Однако использование систем облачных вычислений сможет позволить смотреть «перекрашенные» видео в режиме реального времени.

Программирование придумали женщины?

Читайте в блогах краткий экскурс в историю IT-индустрии.

Подписывайтесь на «Что к чему» —
анамнез и главные симптомы беларуского ИТ.
Цифры, графика, ничего лишнего. Выходит раз в 2 недели.
Спасибо! На указанный адрес отправлено письмо для подтверждения подписки.
Читайте также
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
В России создали бесплатного конкурента генератора картинок DALL-E 2
В России создали бесплатного конкурента генератора картинок DALL-E 2
В России создали бесплатного конкурента генератора картинок DALL-E 2
1 комментарий

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.