ByteDance представила ИИ, который превращает любое фото в 3D

Модель построена на архитектуре Diffusion Transformer — гибриде диффузионных моделей и трансформеров — и содержит всего 1,5 миллиарда параметров, что меньше, чем у конкурентов вроде Hunyuan3D 2.1 с 3 миллиардами параметров. При этом, по данным ByteDance, Seed3D превосходит аналоги по качеству текстур и точности геометрии.

Главное новшество Seed3D — пошаговая генерация. Система анализирует исходное изображение с помощью визуально-языковой модели (VLM), извлекая пространственные и объектные признаки, а затем создает отдельные 3D-модели и объединяет их в единую сцену. Такой подход позволяет масштабировать проект: от отдельного предмета до офиса или даже целого города.

Отдельное внимание уделено согласованности текстур при разных углах обзора: материалы, созданные Seed3D, остаются реалистичными и структурно точными под любым ракурсом. Это делает инструмент пригодным для использования не только в визуализации, но и в симуляциях и робототехнике.

ByteDance отмечает, что созданные с помощью Seed3D модели можно напрямую интегрировать в среды моделирования, например NVIDIA Isaac Sim, для обучения систем ИИ и пространственных симуляций.