ByteDance прадставіла ШІ, які ператварае любое фота ў 3D

Мадэль пабудавана на архітэктуры Diffusion Transformer — гібрыдзе дыфузійных мадэляў і трансформераў — і змяшчае ўсяго 1,5 мільярда параметраў, што менш, чым у канкурэнтаў накшталт Hunyuan3D 2.1 з 3 мільярдамі параметраў. Пры гэтым, паводле звестак ByteDance, Seed3D пераўзыходзіць аналагі па якасці тэкстур і дакладнасці геаметрыі.

Галоўнае новаўвядзенне Seed3D — пакрокавая генерацыя. Сістэма аналізуе зыходную выявы з дапамогай візуальна-моўнай мадэлі (VLM), здабываючы прасторавыя і аб’ектныя прыкметы, а затым стварае асобныя 3D-мадэлі і аб’ядноўвае іх у адзіную сцэну. Такі падыход дазваляе маштабаваць праект: ад асобнага прадмета да офіса ці нават цэлага горада.

Асобная ўвага нададзена ўзгодненасці тэкстур пры розных вуглах агляду: матэрыялы, створаныя Seed3D, застаюцца рэалістычнымі і структурна дакладнымі пад любым ракурсам. Гэта робіць інструмент прыдатным для выкарыстання не толькі ў візуалізацыі, але і ў сімуляцыях і робататэхніцы.

ByteDance адзначае, што створаныя з дапамогай Seed3D мадэлі можна непасрэдна інтэграваць у асяроддзі мадэлявання, напрыклад NVIDIA Isaac Sim, для навучання сістэм ШІ і прасторавых сімуляцый.