Исследователи Варшавского политехнического университета разработали ИИ-систему, которая преобразовывает видеозаписи в комиксы, отбирая важные кадры, сообщает Engadget.
Проект использует генеративно-состязательные нейросети, которые состоят из создающего изображения генератора и дискриминатора, который тренируется отличать «подделки» от объектов огромного обучающего датасета. Процесс продолжается, пока генератор не станет производить настолько качественные картинки, что может обмануть дискриминатор.
Comixify: Transform video into a comics. They used a 2-stage approach: (a) frame selection and (b) style transfer. The results look pretty cool!
— hardmaru (@hardmaru) 12 декабря 2018 г.
paper: https://t.co/cYmCk5YosP
web demo: https://t.co/QZq41b2TnN pic.twitter.com/FGcPfsN9u2
Так как комиксы могут содержать лишь ограниченное число кадров, Comixify также учится выбирать наиболее подходящие моменты из заданного ролика, которые затем преобразует в серию рисунков.
Исследовательская работа с описанием принципа работы Comixify опубликована на сайте arxiv.org. Самостоятельно опробовать демо-версию алгоритма можно в специально созданном веб-приложении.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.