Ученые изобрели метод, который ускоряет ИИ-генерацию изображений в 30 раз

Привычная для генеративных сетей техника «диффузии» предполагает создание максимально размытой картинки, которая затем детализируется до окончательного результата. Диффузия занимает довольно много времени, поэтому исследователи поставили цель ее ускорить. Теоретически новый подход объединяет принципы генеративно-состязательных сетей (GAN) с принципами диффузионных моделей, обеспечивая генерацию визуального контента за один шаг.

Сотрудники Лаборатории компьютерных наук и искусственного интеллекта назвали новый метод «дистилляцией с согласованным распределением» (distribution matching distillation). Если диффузионные модели генерируют картинку за 30-50 шагов, то новый метод позволяет создавать изображение за один проход. Исследователи использовали модель «учитель-ученик»: обучение новой компьютерной модели происходит с помощью имитации поведения более сложных оригинальных моделей, генерирующих изображения.

На оборудовании Stable Diffusion 1.5 нейросеть создает изображение за 1,5 секунды, новая модель на основе DMD справляется с задачей уже за 0,05 секунды. В Instaflow и LCM пытались применить похожий метод генерации, но результаты были не столь впечатляющими. Одноэтапная модель генерации может улучшить инструменты проектирования, позволяя быстрее создавать контент и потенциально помочь при открытии новых лекарств и 3D-моделирования, где оперативность и эффективность являются ключевыми факторами.