Facebook опубликовала библиотеку PyTorch3D для обучения нейросетей на 3D-данных

PyTorch3D — это модульная и оптимизируемая библиотека, которая включает специальную структуру данных для хранения треугольных сеток и выполнения действий над ними, набор часто используемых и эффективных 3D-операторов и функций потерь для таких сетей, а также дифференцируемый рендер моделей.

Facebook применяет PyTorch3D во внутренних проектах, таких как Mesh R-CNN: система умеет распознавать предметы на картинках и строить их трёхмерные модели.

По словам разработчиков, PyTorch3D может применяться в самых разнообразных задачах глубокого обучения на основе 3D-данных, например, для улучшения навигации роботов в пространстве, распознавания объектов самоуправляемыми авто или же для повышения реалистичности VR и качества обработки 2D-изображений.

Исходный код PyTorch3D и Mesh R-CNN доступен на GitHub.