В OpenAI создали нейросеть, которая генерирует 3D-объекты по тексту

Point-E состоит из двух моделей: одна отвечает за преобразование текста в изображение, вторая — за преобразование изображения в 3D-модель. Первая работает аналогично DALL-E 2 (тоже разработки OpenAI) и Stable Diffusion и обучалась на размеченных датасетах с картинками. Второй «скармливали» пары картинок и трёхмерных объектов.

Сама по себе Point-E рисует не 3D-объекты в обычном понимании, а облака точек. Это проще с вычислительной точки трения, но они не повторяют нюансы очертаний и текстуру предметов — и сейчас это главное ограничение Point-E.

Чтобы его обойти, разработчики обучили отдельную ИИ-систему превращать облака точек в полигональные сетки, которые определяют форму объекта в 3D-графике. В OpenAI отмечают, что система пока неидеальна — объекты могут выходить искажёнными или не соответствовать описанию, — но зато работает очень быстро.

Point-E может использоваться в 3D-печати, а после усовершенствования — найти применение в геймдеве. Исходный код Point-E размещён здесь.

Ранее разработчики из OpenAI представили текстовый чат-бот ChatGPT. Система умеет писать сочинения, фиксить баги, отвечать на вопросы и имеет разные другие таланты.