Tipus de document
Treball de fi de grauData de publicació
Llicència de publicació
Si us plau utilitzeu sempre aquest identificador per citar o enllaçar aquest document: https://hdl.handle.net/2445/232062
Preference-Guided Diffusion Fine-Tuning for Histopathology Image Generation
Títol de la revista
Autors
Director/Tutor
Contribució addicional
ISSN de la revista
Títol del volum
Resum
[eng] Generating synthetic histopathological images requires more than visual realism: the generated samples must also preserve the class-specific patterns that distinguish normal from tumor tissue. This is especially challenging because histopathological patches often contain subtle morphological differences, where small changes in tissue structure, nuclei, or staining may affect the pathological label. This thesis studies how a pre-trained Stable Diffusion model can be adapted and, more importantly, how Direct Preference Optimization can be explored as a guided refinement strategy to improve class alignment in histopathology image generation. The proposed pipeline is based on Stable Diffusion v1.5 on PatchCamelyon histopathology patches using Low-Rank Adaptation, or LoRA. This provides a parameter-efficient way to adapt the model to the visual appearance of histopathological tissue while updating only a small number of parameters. Besides this adaptation, a ResNet-18 classifier, trained to distinguish normal from tumor tissue, is used as an external feedback signal to evaluate how well each generated image matches its target class. We explore two refinement strategies: a reward-guided filtering stage based on classifier probabilities, and a DPO-based preference refinement stage. Furthermore, we deep dive into DPO as a new preference-guided refinement strategy for histopathology image generation. Instead of using classifier scores only to accept or discard samples according to a fixed threshold, we use these scores to construct winner-loser pairs between generated images. This allows our model to learn from relative comparisons between better and worse generations, introducing a richer refinement signal than simple reward-guided filtering. The experiments compare the original Stable Diffusion baseline, the LoRA-adapted model, the reward-guided refinement strategy, and the DPO-based approach, considering both image quality and class alignment. The results show that classifier-guided feedback can improve the control of histopathology image generation, while DPO provides a promising direction for using preference learning as guided refinement in this domain.
[cat] Generar imatges histopatològiques sintètiques requereix més que realisme visual: les mostres generades també han de preservar els patrons específics de cada classe que distingeixen el teixit normal del tumoral. Això és especialment difícil perquè els fragments histopatològics sovint contenen diferències morfològiques subtils, on petits canvis en l’estructura del teixit, els nuclis o la tinció poden afectar l’etiqueta patològica. Aquesta tesi estudia com un model Stable Diffusion preentrenat pot ser adaptat i, més important encara, com l’Optimització de Preferències Directa pot explorar-se com a estratègia de refinament guiat per millorar l’alineació de classes en la generació d’imatges histopatològiques.
El pipeline proposat es basa en Stable Diffusion v1.5 sobre fragments histopatològics de PatchCamelyon mitjançant Adaptació de Baix Rang, o LoRA. Això proporciona una manera eficient en paràmetres d’adaptar el model a l’aparença visual del teixit histopatològic actualitzant només un nombre reduït de paràmetres. A més d’aquesta adaptació, s’utilitza un classificador ResNet-18, entrenat per distingir teixit normal de tumoral, com a senyal de retroalimentació externa per avaluar com de bé cada imatge generada s’ajusta a la seva classe objectiu. Explorem dues estratègies de refinament: una etapa de filtratge guiat per recompensa basada en probabilitats del classificador, i una etapa de refinament de preferències basada en DPO. A més, aprofundim en el DPO com a nova estratègia de refinament guiat per preferències per a la generació d’imatges histopatològiques. En lloc d’utilitzar les puntuacions del classificador únicament per acceptar o descartar mostres segons un llindar fix, utilitzem aquestes puntuacions per construir parells guanyador-perdedor entre imatges generades. Això permet que el nostre model aprengui de comparacions relatives entre generacions millors i pitjors, introduint un senyal de refinament més ric que el simple filtratge guiat per recompensa. Els experiments comparen el model Stable Diffusion original com a línia base, el model adaptat amb LoRA, l’estratègia de refinament guiat per recompensa i l’enfocament basat en DPO, considerant tant la qualitat de la imatge com l’alineació de classes. Els resultats mostren que la retroalimentació guiada per classificador pot millorar el control de la generació d’imatges histopatològiques, mentre que el DPO ofereix una direcció prometedora per utilitzar l’aprenentatge per preferències com a refinament guiat en aquest domini.
Descripció
Treballs Finals de Grau d'Enginyeria Informàtica, Facultat de Matemàtiques, Universitat de Barcelona, Any: 2026, Director: Petia Radeva i Bhalaji Nagarajan
Recurs relacionat
Matèries (anglès)
Citació
Citació
FIDEU GARCIA, Gerard. Preference-Guided Diffusion Fine-Tuning for Histopathology Image Generation. [consulted: 6 of November of 2026]. Available at: https://hdl.handle.net/2445/232062