Copia de modelos usando modelos de difusión en MNIST

Abstract

Este proyecto investiga la técnica de replicación de conocimiento que aprovecha el poder de los modelos de difusión para generar datos sintéticos de alta calidad. El objetivo principal es determinar si un modelo estudiante puede alcanzar un rendimiento comparable al de un modelo profesor entrenado con datos reales, pero utilizando exclusivamente datos sintéticos. Utilizando el conjunto de datos MNIST como caso de estudio, este trabajo ex- plora las fronteras de la generación de imágenes mediante modelos de difusión y su aplicación en la replicación de conocimiento. Además, el proyecto evalúa el impacto de diferentes arquitecturas en los modelos profesor y estudiante, proporcionando un análisis comparativo de su eficacia en este contexto innovador.

This project investigates the knowledge replication technique that leverages the power of diffusion models to generate high-quality synthetic data. The main objective is to determine whether a student model can achieve comparable performance to a teacher model trained on real data, but using exclusively synthetic data. Using the MNIST dataset as a case study, this work explores the frontiers of image generation through diffusion models and their application in knowledge replication. Additionally, the project evaluates the impact of different architectures in both the teacher and student models as well as in the diffusion generator, providing a comparative analysis of their effectiveness in this innovative context.