Nvidia представила ИИ-систему перевода текста в изображение

GauGAN2 применяет сегментированное картирование, ретушь и преобразование текста в изображение. По сравнению с другими существующими моделями лежащая в основе GauGAN2 нейросеть производит более разнообразные и качественные изображения. Для этого пользователи могут ввести короткую фразу и сгенерировать его ключевые особенности и сюжет.

«Эту стартовую заготовку потом можно дорисовать, сделав ту или иную гору выше и добавив деревья на заднем плане или облака в небе», — сообщила участница команды Nvidia Иша Салиан.

GauGAN2 — это улучшенная версия системы GauGAN, созданной в 2019 году. Ее обучили на более миллиона открытых изображений с платформы Flickr. Новая версия понимает взаимосвязи между объектами, такими как снег, деревья, вода, цветы, кусты, холмы и горы, нейросеть «осознает», какие типы осадков характерны для каждого времени года.

В основе работы системы лежит генеративно-состязательная сеть, состоящая из генератора и дискриминатора. Генератор берет образцы изображений с сопроводительным текстом и предлагает, какие слова соответствуют элементам изображения. Дискриминатор оценивает, соответствует ли это предположение истине.

В версии GauGAN2 использовано уже 10 миллионов изображений для обучения. Если ввести текст «закат на пляже», то сеть сгенерирует соответсвующее изображение; если расширить фразу до «закат на каменистом пляже» или заменить «закат» на «дождливый день», нейросеть поймет значения и внесет соответствующие изменения.

«Сбер» представил нейросеть, которая создает картинку по описанию на русском языке

По теме

«Сбер» представил нейросеть, которая создает картинку по описанию на русском языке

Нейросеть создала привлекательные изображения лиц с помощью активности мозга пользователей

По теме

Нейросеть создала привлекательные изображения лиц с помощью активности мозга пользователей

Алгоритм распознавания объектов OpenAI можно обмануть надписью на бумажке

По теме

Алгоритм распознавания объектов OpenAI можно обмануть надписью на бумажке