Nvidia создала фреймворк для рендеринга объёмных моделей по 2D-изображениям

Nvidia создала фреймворк на базе машинного обучения, который преобразует двухмерные изображения в трёхмерные объекты, сообщает TechSpot.

AI-система под названием DIB-R (differentiable interpolation-based renderer) построена на основе ML-фреймворка PyTorch. Официально компания представит её в вашингтонском Ванкувере на этой неделе.

DIB-R обрабатывает картинку и преобразует в высокоточную 3D-модель с учётом форм, текстур, цветов и освещения. Всё это фреймворк выполняет за десятую долю секунды. Но тренировка нейросети занимает 2 дня на одном GPU Nvidia V100, на других GPU процесс, по словам компании, растянется на недели.

К примеру, системе «скормили» несколько датасетов с изображениями птиц, после чего она смогла создать качественные модели по одной 2D-картинке. DIB-R можно применять не только к птицам, но и к любым другим объектам.

По словам разработчиков, система даст восприятие глубины автономным роботам, чем повысит их точность и безопасность, а также улучшит ориентацию на местности и умение манипулировать предметами.

Фреймворк DIB-R интегрирован в разработанную Nvidia PyTorch-библиотеку Kaolin. Она помогает ускорить исследования в области 3D-технологий и глубокого обучения.