Tipus de document
Treball de fi de grauData de publicació
Llicència de publicació
Si us plau utilitzeu sempre aquest identificador per citar o enllaçar aquest document: https://hdl.handle.net/2445/232181
Generative Modelling via Drifting: Efficient One-Step Image Generation
Títol de la revista
Autors
Director/Tutor
Contribució addicional
ISSN de la revista
Títol del volum
Resum
[eng] Generative modelling can be interpreted as learning a map $f$ that pushes a simple noise distribution $p_\varepsilon$ forward to the data distribution $p_{\text{data}}$. State-of-the-art generators based on diffusion or flow matching perform this push iteratively, simulating an SDE or ODE during inference and involving tens to hundreds of function evaluations. Recent work on Multisample Flow Matching and Rectified Flow reduces this cost by straightening the learned trajectories, but the additional reflow stages multiply the training budget significantly.
Deng et al. (2026) recently introduced Drifting Models, a paradigm that avoids iterative inference completely: rather than learning a vector field over time, the generator is trained so that its output distribution evolves during training towards $p_{\text{data}}$, driven by a drifting field that vanishes precisely when the two distributions match. Sampling at inference reduces to a single forward pass.
This thesis develops the mathematical foundations of the drifting framework (particle dynamics, RKHS theory, Maximum Mean Discrepancy, and the derivation of the drifting field as the gradient of an MMD objective) and ports the method to the MLX framework on Apple Silicon. We evaluate the resulting onestep generator on MNIST under three progressively richer architectures (MLP, naïve UNet, and UNet with training-level stabilisers), reaching a feature-space FID of 78.87 and a strict recognition rate of 63.3% after roughly 45 minutes of training on a consumer laptop, without class conditioning. The experiments confirm that the drifting framework can be reproduced on a consumer laptop in under an hour of training while preserving the qualitative behaviour reported in the original paper.
[cat] La modelització generativa es pot interpretar com l’aprenentatge d’una aplicació $f$ que transporta una distribució de soroll simple $p_\varepsilon$ cap a la distribució de dades $p_{\mathrm{data}}$. Els generadors de l’estat de l’art basats en difusió o en flow matching realitzen aquest transport de manera iterativa, simulant una SDE o una ODE durant la inferència i requerint desenes o centenars d’avaluacions de la funció. Treballs recents com Multisample Flow Matching i Rectified Flow redueixen aquest cost rectificant les trajectòries apreses, però les fases addicionals de reflow multipliquen significativament el pressupost d’entrenament.
Deng et al. (2026) han introduït recentment els Drifting Models, un paradigma que evita completament la inferència iterativa: en lloc d’aprendre un camp vectorial al llarg del temps, el generador s’entrena de manera que la seva distribució de sortida evolucioni durant l’entrenament cap a $p_{\mathrm{data}}$, impulsada per un camp de drifting que s’anul·la precisament quan les dues distribucions coincideixen. El mostreig en inferència es redueix a una única avaluació de la xarxa.
Aquest treball desenvolupa els fonaments matemàtics del marc de drifting (dinàmica de partícules, teoria d’RKHS, Maximum Mean Discrepancy, i la derivació del camp de drifting com a gradient d’un objectiu MMD) i adapta el mètode a la infraestructura MLX sobre Apple Silicon. Avaluem el generador d’un sol pas resultant sobre MNIST amb tres arquitectures progressivament més riques (MLP, UNet naïf, i UNet amb estabilitzadors a nivell d’entrenament), assolint un FID de 78,87 i una taxa de reconeixement estricta del 63,3% després d’aproximadament 45 minuts d’entrenament en un portàtil de consum, sense condicionament per classe. Els experiments confirmen que el marc de drifting es pot reproduir en un portàtil de consum en menys d’una hora d’entrenament tot preservant el comportament qualitatiu descrit al treball original.
Descripció
Treballs Finals de Grau de Matemàtiques, Facultat de Matemàtiques, Universitat de Barcelona, Any: 2026, Director: Jordi Vitrià Marca
Recurs relacionat
Citació
Citació
ROYO SAN MIGUEL, Christian. Generative Modelling via Drifting: Efficient One-Step Image Generation. [consulted: 15 of November of 2026]. Available at: https://hdl.handle.net/2445/232181