Image Generation via Drifting

Abstract

[eng] Most state-of-the-art generative models that achieve high sample quality, from image systems such as Stable Diffusion 3 to video systems such as Meta's Movie Gen, pay for it at inference time: producing a single sample requires simulating a differential equation over tens to hundreds of sequential network evaluations (Stable Diffusion 3, for instance, uses fifty). This work studies drifting, a recently proposed framework that instead concentrates the cost in training and generates each sample in a single forward pass. It trains the generator to follow a drifting field: a kernel-based vector field that pulls each generated sample toward the real data and away from the other generated samples. We develop the mathematical foundations of this framework, characterising when its drifting field vanishes. We then implement the method as a class-conditional transformer (DriftDiT) and evaluate one-step generation on MNIST and Fashion-MNIST, reaching Fréchet Inception Distances of 3.86 and 7.64 respectively.

[cat] Els models generatius més avançats, des de sistemes d’imatge com Stable Diffusion 3 fins a generadors de vídeo com Movie Gen de Meta, produeixen mostres d’alta qualitat, però a costa d’una generació lenta: obtenir una sola mostra requereix simular una equació diferencial mitjançant desenes o centenars d’avaluacions consecutives de la xarxa (Stable Diffusion 3, per exemple, en fa cinquanta). Aquest treball estudia el drifting, un marc proposat recentment que, en canvi, desplaça aquest cost cap a l’entrenament i genera cada mostra amb una única avaluació. La idea és entrenar el generador perquè segueixi el drifting: un camp vectorial, definit a partir de kernels, que atrau cada mostra generada cap a les dades reals i l’allunya de la resta de mostres generades. Desenvolupem els fonaments matemàtics i caracteritzem en quins casos s’anul·la el camp. Finalment, l’implementem com un transformer condicionat per la classe (DriftDiT) i avaluem la generació en un sol pas sobre MNIST i Fashion-MNIST, on obtenim distàncies de Fréchet Inception de 3.86 i 7.64, respectivament.