Nvidia открыла код ИИ-разработки, которая создаёт графику для игр на основе реальных видео

На конференции NeurIPS в канадском Монреале разработчики Nvidia показали технологию создания реалистичной текстурной графики с помощью искусственного интеллекта вместо традиционных способов, сообщает Digital Trends.

Целью исследователей было улучшить качество компьютерной графики с помощью ИИ. Для этого они построили систему, которая обрабатывает видеозаписи реальных мест с помощью нейросетей. Модель анализирует видео, после чего с помощью машинного зрения добавляет лейблы к объектам и их характеристики. Так, ИИ может распознавать деревья, машины, здания и другие объекты городской местности, добавляя текстуру и свет. Разработчики также хотят научить искусственный интеллект синтезировать новые локации.

Исследователи смогли воспроизвести изображения в реальном времени на GPU Tensor Core. По их словам, выполнить задачу сможет любой процессор, но для мгновенной работы ИИ требуются большие мощности.

Возможность создавать контент на основе реальных видео и добавлять в виртуальные миры даст большой толчок рынку видеоигр. Например, разработчики смогут реставрировать старые игры, добавив высококачественные визуальные эффекты, или запросто добавить в них новые уровни. Пользователи смогут снимать себя на видео, загружать его в игры, обрабатывать и получать уникальный аватар.

Nvidia открыла исходный код разработок, но предупреждает, что технология находится на ранних стадиях и пока, скорее, заинтересует учёных, чем создателей игр. Также неясно, когда она станет доступна для потребителей, но Nvidia приблизительно оценивает этот срок парой лет.