Google придумала, как увеличивать качество фото в 16 раз с помощью AI

Исследователи научили ML-модель превращать фото низкого разрешения в качественные картинки с высокой детализацией. Технология может применяться для восстановления старых семейных снимков или медицинских изображений.

В основе лежит концепция диффузионных моделей, над которыми Google работает с 2015 года, но пока отдавала предпочтение глубоким генеративным моделям. Как оказалось, остававшийся в их тени подход превосходит существующие.

Суть нового метода — SR3 (Super-Resolution via Repeated Refinement) — в том, что более высококачественное изображение воссоздаётся на основе шума исходного с низким разрешением. Модель тренируется на процессе искажения изображения, когда к качественным картинкам понемногу добавляется шум, пока не останется только чистый шум. Далее модель учится выполнять процесс в другую сторону, получая на входе чистый шум и постепенно вычищая его.

Технология хорошо зарекомендовала себя на портретах и пейзажах. Восстановленные путём SR3 снимки участники эксперимента принимали за оригинал гораздо чаще по сравнению с другими методами. Но при пристальном рассмотрении недочёты всё же видны.

Исследователи пошли дальше и предложили ещё одну модель под названием CDM (class-conditional diffusion model, модель условно-классовой диффузии). Она обучалась той же задаче на датасете ImageNet и представляет собой комбинацию нескольких диффузионных моделей. В её основе лежит каскадный подход, при котором сначала генерируется картинка в низком разрешении, а потом с помощью ряда SR3-моделей оно повышается до максимального.

Google продемонстрировала результаты на примерах. Так, фото 32×32 можно масштабировать в 8 раз сначала до 64×64, а потом до 256×256. Размеры картинки 64×64 можно увеличить до 1024×1024, то есть в 16 раз.

devby 17 лет!

Вспоминаем наш (и ваш) переходный возраст и делимся виш-листом