Google придумала, как увеличивать качество фото в 16 раз с помощью AI

Команда Google Brain рассказала о новом способе повысить разрешение фотографий вплоть до 16 раз посредством машинного обучения.

1 комментарий
Google придумала, как увеличивать качество фото в 16 раз с помощью AI

Команда Google Brain рассказала о новом способе повысить разрешение фотографий вплоть до 16 раз посредством машинного обучения.

Исследователи научили ML-модель превращать фото низкого разрешения в качественные картинки с высокой детализацией. Технология может применяться для восстановления старых семейных снимков или медицинских изображений.

В основе лежит концепция диффузионных моделей, над которыми Google работает с 2015 года, но пока отдавала предпочтение глубоким генеративным моделям. Как оказалось, остававшийся в их тени подход превосходит существующие.

Суть нового метода — SR3 (Super-Resolution via Repeated Refinement) — в том, что более высококачественное изображение воссоздаётся на основе шума исходного с низким разрешением. Модель тренируется на процессе искажения изображения, когда к качественным картинкам понемногу добавляется шум, пока не останется только чистый шум. Далее модель учится выполнять процесс в другую сторону, получая на входе чистый шум и постепенно вычищая его.

Технология хорошо зарекомендовала себя на портретах и пейзажах. Восстановленные путём SR3 снимки участники эксперимента принимали за оригинал гораздо чаще по сравнению с другими методами. Но при пристальном рассмотрении недочёты всё же видны.

Исследователи пошли дальше и предложили ещё одну модель под названием CDM (class-conditional diffusion model, модель условно-классовой диффузии). Она обучалась той же задаче на датасете ImageNet и представляет собой комбинацию нескольких диффузионных моделей. В её основе лежит каскадный подход, при котором сначала генерируется картинка в низком разрешении, а потом с помощью ряда SR3-моделей оно повышается до максимального.

Google продемонстрировала результаты на примерах. Так, фото 32×32 можно масштабировать в 8 раз сначала до 64×64, а потом до 256×256. Размеры картинки 64×64 можно увеличить до 1024×1024, то есть в 16 раз.

Как и зачем определять свои жизненные ценности?

Карьерный коуч из Google делится в блогах ключом к пониманию себя.

Подписывайтесь на «Что к чему» —
анамнез и главные симптомы беларуского ИТ.
Цифры, графика, ничего лишнего. Выходит раз в 2 недели.
Спасибо! На указанный адрес отправлено письмо для подтверждения подписки.
Читайте также
TinyML, No-code и обучение с подкреплением: новейшие тренды в машинном обучении
TinyML, No-code и обучение с подкреплением: новейшие тренды в машинном обучении
TinyML, No-code и обучение с подкреплением: новейшие тренды в машинном обучении
Пока 20% топ-менеджеров утверждают, что машинное обучение является существенной частью их бизнеса, неудивительно, что стоимость мирового рынка машинного обучения, по некоторым оценкам, достигнет $117 млрд к концу 2027 года. Мы перевели материал Udacity о семи самых обсуждаемых тенденциях в машинном обучении в 2022 году.
Google урезает бюджеты, СЕО намекает на сокращения
Google урезает бюджеты, СЕО намекает на сокращения
Google урезает бюджеты, СЕО намекает на сокращения
Производительность должна измеряться в IT не так, как у других. Наглядный кейс — Google
Производительность должна измеряться в IT не так, как у других. Наглядный кейс — Google
Bubble
Производительность должна измеряться в IT не так, как у других. Наглядный кейс — Google
Google планирует упростить компанию: меньше митингов, больше фокуса на целях
Google планирует упростить компанию: меньше митингов, больше фокуса на целях
Google планирует упростить компанию: меньше митингов, больше фокуса на целях
2 комментария

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментарий скрыт за нарушение правил комментирования.