Нейронная сеть «раскрашивает» любое видео в стиле Ван Гога и Дали

Нейронную сеть научили «перекрашивать» видео в стиле плотен великих художников — Ван Гога, Дали, Пикассо и др, пишет hi-tech.mail.ru. Технология создания «живых картин» опубликована на сайте arxiv.org.

Читать далее...

Нейронная сеть – система искусственного интеллекта, которая обладает способностью распознавать даже серьезно искаженные сигналы, причем качество распознавания повышается в процессе обучения. Для раскрашивания видео использовалась «глубокая» нейронная сеть с несколькими слоями абстракции и обработки информации.

Алексей Досовицкий из университета Фрайбурга (Германия), один из создателей программы, рассказал, что первый слой нейросети используется для анализа картин художника. Он извлекает из полотен информацию об используемых красках, мазках, стиле. Второй слой анализирует кадры фильма. Он распознаёт объекты и фактически превращает их в эскизы будущих картин.

По словам разработчиков, качество результата («раскраски» фильма нейросетью) определяется уровнем обучения каждого из слоёв и корелляцией между ними. Раньше специалисты использовали подобную технологию для обработки отдельных изображений, в случае же с видео сложность заключалась в том, что нейросеть для соседних кадров выдавала слишком различающиеся картинки, так что объединить их в «гладкое» видео не получалось.

Учёные переработали алгоритм таким образом, что нейросеть стала распознавать уже присутствовавшие на кадрах объекты. Также она запоминала предметы, ранее появлявшиеся на экране, и использовала для обработки следующих кадров тот же стиль.

В итоге кадры удалось объединить в красивое видео, параллельно существенно снизив вычислительную сложность алгоритма. Так, если первоначально для обработки одного кадра на ПК с мощной видеокартой серии GeForce Titan X требовалось 10 минут, то впоследствии время сократили до 3 минут.

Учёные отмечают, что на домашних ПК видео будет обрабатываться слишком долго. Однако использование систем облачных вычислений сможет позволить смотреть «перекрашенные» видео в режиме реального времени.