Carregant...
Fitxers
Tipus de document
TesiVersió
Versió publicadaData de publicació
Tots els drets reservats
Si us plau utilitzeu sempre aquest identificador per citar o enllaçar aquest document: https://hdl.handle.net/2445/227683
Generative Deep Learning for Cancer Image analysis
Títol de la revista
Autors
Director/Tutor
ISSN de la revista
Títol del volum
Recurs relacionat
Resum
[eng] Accurate and timely detection of cancerous lesions in medical imaging is essential for effective treatment. However, the diagnosis remains challenging due to, among others, tumor heterogeneity, imaging constraints, and observer variability. Deep learning architectures, such as convolutional and transformer-based networks, have been showing promise in improving cancer image analysis by learning complex patterns within features from raw imaging data, allowing for earlier, more precise detection and consistent, data-driven decision-making. Despite its potential, clinical adoption of deep learning is restricted by the need for large, annotated training datasets, which are scarce due to privacy and labeling cost constraints, as well as due to its variability in performance when applied in settings of domain shift, imaging artifacts, variation in imaging protocols, and patient populations. This thesis identifies and addresses the challenges in deep learning for cancer imaging through five core publications that propose novel frameworks, methods, and solutions. First, a large-scale survey of generative models in cancer imaging is conducted leading to the identification of key challenges and problems in the field alongside ideation of potential solutions. Based on these findings, the SynTRUST meta-analysis framework is derived to assess the trustworthiness and maturity level of cancer image synthesis studies and solutions. Second, conditional generative adversarial networks (GANs) are applied to the challenges of scarcity of cancer images and tumor annotations, by simulating dynamic contrast-enhanced breast magnetic resonance imaging (DCEMRI) sequences. Without relying on physical contrast agents or DCE-MRI data from real patients, this approach enables unsupervised tumor detection, localization, and characterization, along with providing synthetic training data for increasing the robustness of downstream task models such as tumor segmentation models. Third, a multi-conditional latent diffusion models is developed to translate non-contrast enhanced MRI images into variable time-dependent synthetic DCE-MRI images localizing tumors and predicting their contrast enhancement kinetic patterns. Addressing the need for respective quantitative evaluation metrics, the Fréchet Radiomics Distance (FRD) is proposed to measure (synthetic) image quality based on biomarker variability. Fourth, a mass malignancy-conditioned generative adversarial network (MCGAN) is proposed to generated synthetic data as privacy-preservation mechanism for training deep learning models without individual patient data. Via comparison and combination with differential privacy, the synthetic mammography data is shown to improve the performance in multiple privacy-preserving cancer classification scenarios. Fifth, the medigan library is introduced as sharing platform for pretrained generative models that enable researchers to generate high-quality synthetic data across diverse imaging modalities without requiring direct access to sensitive patient data. Additionally, medigan’s generative models are comprehensive analyzed based on the Fréchet Inception Distance (FID) using both radiology domain-specific and standard domain-invariant feature extractors. In conclusion, this thesis highlights the potential of generative deep learning to address the key challenges in cancer imaging, presenting novel methods in contrast enhancement simulation, tumor localization, privacy-preserving cancer classification, and tools for sharing and assessing generative models, paving the way for these models towards integration into clinical practice to the end of advancing healthcare for both individual patients and society at large.
[cat] La detecció precisa i oportuna de lesions canceroses en les imatges mèdiques és essencial per a un tractament eficaç. No obstant això, el diagnòstic continua presentant desafiaments a causa, entre altres factors, de l’heterogeneïtat tumoral, les limitacions de les imatges i la variabilitat entre observadors. Les arquitectures d’aprenentatge profund, com les xarxes convolucionals i les xarxes basades en transformers, han demostrat ser prometedores per a millorar l’anàlisi d’imatges de càncer mitjançant l’aprenentatge de patrons complexos dins de les característiques de les dades d’imatges mèdiques, cosa que permet una detecció més precoç i precisa i una presa de decisions coherent i basada en dades. Tot i el seu potencial, l’adopció clínica de l’aprenentatge profund està restringida per la necessitat de grans conjunts de dades d’entrenament anotades, que són escassos a causa de les restriccions de privacitat i del cost d’etiquetatge, així com de la variabilitat en el seu rendiment quan s’aplica en entorns amb canvi de domini, amb artefactes d’imatge, variacions en els protocols d’imatge i en diferents poblacions de pacients. Aquesta tesi identifica i aborda els reptes de l’aprenentatge profund per a l’obtenció d’imatges de càncer a través de cinc publicacions principals que proposen marcs, mètodes i solucions innovadors. En primer lloc, es duu a terme un estudi a gran escala dels models generatius en la imatge del càncer que condueix a la identificació de desafiaments i problemes clau en el camp, juntament amb la proposta de possibles solucions. A partir d’aquests descobriments, es deriva el marc de metaanàlisi SynTRUST per avaluar la fiabilitat i el nivell de maduresa dels estudis i solucions de síntesi d’imatges de càncer. En segon lloc, s’apliquen xarxes generatives adversàries condicionals (GANs) als reptes de l’escassetat d’imatges de càncer i anotacions tumorals, simulant seqüències de ressonància magnètica de mama amb contrast dinàmic (DCE-MRI). Sense dependre d’agents de contrast físics ni de dades de DCE-MRI de pacients reals, aquest enfocament permet la detecció, localització i caracterització no supervisada de tumors, a més de proporcionar dades sintètiques d’entrenament per augmentar la robustesa dels models per a tasques posteriors, com la segmentació de tumors. En tercer lloc, es desenvolupa un model de difusió latent multicondicional per transformar imatges de MRI sense realç de contrast en imatges sintètiques de DCE-MRI variables en el temps que localitzen els tumors i prediuen els seus patrons cinètics de realç de contrast. Per abordar la necessitat d’una mètrica quantitativa respectiva d’avaluació, es proposa la Distància Radiómica de Fréchet (FRD) per mesurar la qualitat de la imatge (sintètica) basada en la variabilitat de biomarcadors. En quart lloc, es proposa una xarxa generativa adversària condicionada a la malignitat de masses (MCGAN) per generar dades sintètiques com a mecanisme de preservació de la privadesa per a l’entrenament de models d’aprenentatge profund sense dades de pacients individuals. Mitjançant la comparació i combinació amb la privadesa diferencial, es demostra que les dades sintètiques de mamografia milloren el rendiment en múltiples escenaris de classificació de càncer amb preservació de la privadesa. En cinquè lloc, es presenta la biblioteca medigan com a plataforma compartida per a models generatius preentrenats que permet als investigadors generar dades sintètiques d’alta qualitat en diverses modalitats d’imatge sense necessitat d’accedir directament a dades sensibles de pacients. A més, els models generatius de medigan s’analitzen exhaustivament basant-se en la Fréchet inception distance (FID) utilitzant tant extractors de característiques específics del domini radiològic com extractors de característiques estàndard invariants del domini. En conclusió, aquesta tesi demostra el potencial de l’aprenentatge profund generatiu per afrontar els desafiaments clau en les imatges de càncer, presentant mètodes innovadors en la simulació de millora del contrast, localització de tumors, classificació de càncer preservant la privadesa i eines per compartir i avaluar models generatius, obrint el camí per a la integració d’aquests models en la pràctica clínica i el progrés de l’atenció sanitària, tant per als pacients individuals com per a la societat en general.
[spa] La detección precisa y oportuna de lesiones cancerosas en las imágenes médicas es esencial para un tratamiento eficaz. Sin embargo, el diagnóstico sigue presentando desafíos debido, entre otras cosas, a la heterogeneidad del tumor, las limitaciones de las imágenes y la variabilidad entre observadores. Las arquitecturas de aprendizaje profundo, como las redes convolucionales y las basadas en transformers, han demostrado ser prometedoras para mejorar el análisis de imágenes de cáncer mediante el aprendizaje de patrones complejos dentro de las características de los datos de imágenes, lo que permite una detección más temprana y precisa y una toma de decisiones coherente y basada en datos. A pesar de su potencial, la adopción clínica del aprendizaje profundo está restringida por la necesidad de grandes conjuntos de datos de entrenamiento anotados, que son escasos debido a las restricciones de privacidad y costo de etiquetado, así como debido a la variabilidad en su rendimiento cuando se aplica en entornos de cambio de dominio, con artefactos de imagen, variaciones en los protocolos de imagen y en diferentes poblaciones de pacientes. Esta tesis identifica y aborda los retos del aprendizaje profundo para la obtención de imágenes de cáncer a través de cinco publicaciones principales que proponen marcos, métodos y soluciones novedosos. En primer lugar, se lleva a cabo un estudio a gran escala de los modelos generativos en la imagenología de cáncer que conduce a la identificación de desafíos y problemas clave en el campo, junto con la propuesta de posibles soluciones. A partir de estos hallazgos, se deriva el marco de metaanálisis SynTRUST para evaluar la fiabilidad y el nivel de madurez de los estudios y soluciones de síntesis de imágenes de cáncer. En segundo lugar, se aplican redes generativas adversariales condicionales (GANs) a los retos de la escasez de imágenes de cáncer y anotaciones tumorales, simulando secuencias de resonancia magnética de mama con contraste dinámico (DCE-MRI). Sin depender de agentes de contraste físicos ni de datos de DCE-MRI provenientes de pacientes reales, este enfoque permite la detección, 19 localización y caracterización no supervisada de tumores, además de proporcionar datos de entrenamiento sintéticos para aumentar la robustez de los modelos para tareas posteriores, como la segmentación de tumores. En tercer lugar, se desarrolla un modelo de difusión latente multicondicional para transformar imágenes de MRI sin realce de contraste en imágenes sintéticas de DCE-MRI variables en el tiempo que localizan los tumores y predicen sus patrones cinéticos de realce de contraste. Abordando la necesidad de una métrica cuantitativa respectiva de evaluación, se propone la Distancia Radiómica de Fréchet (FRD) para medir la calidad de la imagen (sintética) basada en la variabilidad de biomarcadores. En cuarto lugar, se propone una red generativa adversarial condicionada a la malignidad de massas (MCGAN) para generar datos sintéticos como mecanismo de preservación de la privacidad para el entrenamiento de modelos de aprendizaje profundo sin datos de pacientes individuales. Mediante la comparación y la combinación con la privacidad diferencial, se demuestra que los datos sintéticos de mamografía mejoran el rendimiento en múltiples escenarios de clasificación de cáncer con preservación de la privacidad. En quinto lugar, se presenta la biblioteca medigan como plataforma compartida para modelos generativos preentrenados que permite a los investigadores generar datos sintéticos de alta calidad en diversas modalidades de imagen sin necesidad de acceder directamente a datos sensibles de pacientes. Además, los modelos generativos de medigan se analizan exhaustivamente basándose en la Fréchet inception distance (FID) utilizando tanto extractores de características específicos del dominio radiológico como extractores de características estándar invariantes del dominio. En conclusión, esta tesis demuestra el potencial del aprendizaje profundo generativo para abordar los desafíos clave en las imágenes de cáncer, presentando métodos novedosos en la simulación de mejora del contraste, localización de tumores, clasificación de cáncer preservando la privacidad y herramientas para compartir y evaluar modelos generativos, abriendo el camino para la integración de estos modelos en la práctica clínica y el avance de la atención sanitaria tanto para los pacientes individuales como para la sociedad en general.
[cat] La detecció precisa i oportuna de lesions canceroses en les imatges mèdiques és essencial per a un tractament eficaç. No obstant això, el diagnòstic continua presentant desafiaments a causa, entre altres factors, de l’heterogeneïtat tumoral, les limitacions de les imatges i la variabilitat entre observadors. Les arquitectures d’aprenentatge profund, com les xarxes convolucionals i les xarxes basades en transformers, han demostrat ser prometedores per a millorar l’anàlisi d’imatges de càncer mitjançant l’aprenentatge de patrons complexos dins de les característiques de les dades d’imatges mèdiques, cosa que permet una detecció més precoç i precisa i una presa de decisions coherent i basada en dades. Tot i el seu potencial, l’adopció clínica de l’aprenentatge profund està restringida per la necessitat de grans conjunts de dades d’entrenament anotades, que són escassos a causa de les restriccions de privacitat i del cost d’etiquetatge, així com de la variabilitat en el seu rendiment quan s’aplica en entorns amb canvi de domini, amb artefactes d’imatge, variacions en els protocols d’imatge i en diferents poblacions de pacients. Aquesta tesi identifica i aborda els reptes de l’aprenentatge profund per a l’obtenció d’imatges de càncer a través de cinc publicacions principals que proposen marcs, mètodes i solucions innovadors. En primer lloc, es duu a terme un estudi a gran escala dels models generatius en la imatge del càncer que condueix a la identificació de desafiaments i problemes clau en el camp, juntament amb la proposta de possibles solucions. A partir d’aquests descobriments, es deriva el marc de metaanàlisi SynTRUST per avaluar la fiabilitat i el nivell de maduresa dels estudis i solucions de síntesi d’imatges de càncer. En segon lloc, s’apliquen xarxes generatives adversàries condicionals (GANs) als reptes de l’escassetat d’imatges de càncer i anotacions tumorals, simulant seqüències de ressonància magnètica de mama amb contrast dinàmic (DCE-MRI). Sense dependre d’agents de contrast físics ni de dades de DCE-MRI de pacients reals, aquest enfocament permet la detecció, localització i caracterització no supervisada de tumors, a més de proporcionar dades sintètiques d’entrenament per augmentar la robustesa dels models per a tasques posteriors, com la segmentació de tumors. En tercer lloc, es desenvolupa un model de difusió latent multicondicional per transformar imatges de MRI sense realç de contrast en imatges sintètiques de DCE-MRI variables en el temps que localitzen els tumors i prediuen els seus patrons cinètics de realç de contrast. Per abordar la necessitat d’una mètrica quantitativa respectiva d’avaluació, es proposa la Distància Radiómica de Fréchet (FRD) per mesurar la qualitat de la imatge (sintètica) basada en la variabilitat de biomarcadors. En quart lloc, es proposa una xarxa generativa adversària condicionada a la malignitat de masses (MCGAN) per generar dades sintètiques com a mecanisme de preservació de la privadesa per a l’entrenament de models d’aprenentatge profund sense dades de pacients individuals. Mitjançant la comparació i combinació amb la privadesa diferencial, es demostra que les dades sintètiques de mamografia milloren el rendiment en múltiples escenaris de classificació de càncer amb preservació de la privadesa. En cinquè lloc, es presenta la biblioteca medigan com a plataforma compartida per a models generatius preentrenats que permet als investigadors generar dades sintètiques d’alta qualitat en diverses modalitats d’imatge sense necessitat d’accedir directament a dades sensibles de pacients. A més, els models generatius de medigan s’analitzen exhaustivament basant-se en la Fréchet inception distance (FID) utilitzant tant extractors de característiques específics del domini radiològic com extractors de característiques estàndard invariants del domini. En conclusió, aquesta tesi demostra el potencial de l’aprenentatge profund generatiu per afrontar els desafiaments clau en les imatges de càncer, presentant mètodes innovadors en la simulació de millora del contrast, localització de tumors, classificació de càncer preservant la privadesa i eines per compartir i avaluar models generatius, obrint el camí per a la integració d’aquests models en la pràctica clínica i el progrés de l’atenció sanitària, tant per als pacients individuals com per a la societat en general.
[spa] La detección precisa y oportuna de lesiones cancerosas en las imágenes médicas es esencial para un tratamiento eficaz. Sin embargo, el diagnóstico sigue presentando desafíos debido, entre otras cosas, a la heterogeneidad del tumor, las limitaciones de las imágenes y la variabilidad entre observadores. Las arquitecturas de aprendizaje profundo, como las redes convolucionales y las basadas en transformers, han demostrado ser prometedoras para mejorar el análisis de imágenes de cáncer mediante el aprendizaje de patrones complejos dentro de las características de los datos de imágenes, lo que permite una detección más temprana y precisa y una toma de decisiones coherente y basada en datos. A pesar de su potencial, la adopción clínica del aprendizaje profundo está restringida por la necesidad de grandes conjuntos de datos de entrenamiento anotados, que son escasos debido a las restricciones de privacidad y costo de etiquetado, así como debido a la variabilidad en su rendimiento cuando se aplica en entornos de cambio de dominio, con artefactos de imagen, variaciones en los protocolos de imagen y en diferentes poblaciones de pacientes. Esta tesis identifica y aborda los retos del aprendizaje profundo para la obtención de imágenes de cáncer a través de cinco publicaciones principales que proponen marcos, métodos y soluciones novedosos. En primer lugar, se lleva a cabo un estudio a gran escala de los modelos generativos en la imagenología de cáncer que conduce a la identificación de desafíos y problemas clave en el campo, junto con la propuesta de posibles soluciones. A partir de estos hallazgos, se deriva el marco de metaanálisis SynTRUST para evaluar la fiabilidad y el nivel de madurez de los estudios y soluciones de síntesis de imágenes de cáncer. En segundo lugar, se aplican redes generativas adversariales condicionales (GANs) a los retos de la escasez de imágenes de cáncer y anotaciones tumorales, simulando secuencias de resonancia magnética de mama con contraste dinámico (DCE-MRI). Sin depender de agentes de contraste físicos ni de datos de DCE-MRI provenientes de pacientes reales, este enfoque permite la detección, 19 localización y caracterización no supervisada de tumores, además de proporcionar datos de entrenamiento sintéticos para aumentar la robustez de los modelos para tareas posteriores, como la segmentación de tumores. En tercer lugar, se desarrolla un modelo de difusión latente multicondicional para transformar imágenes de MRI sin realce de contraste en imágenes sintéticas de DCE-MRI variables en el tiempo que localizan los tumores y predicen sus patrones cinéticos de realce de contraste. Abordando la necesidad de una métrica cuantitativa respectiva de evaluación, se propone la Distancia Radiómica de Fréchet (FRD) para medir la calidad de la imagen (sintética) basada en la variabilidad de biomarcadores. En cuarto lugar, se propone una red generativa adversarial condicionada a la malignidad de massas (MCGAN) para generar datos sintéticos como mecanismo de preservación de la privacidad para el entrenamiento de modelos de aprendizaje profundo sin datos de pacientes individuales. Mediante la comparación y la combinación con la privacidad diferencial, se demuestra que los datos sintéticos de mamografía mejoran el rendimiento en múltiples escenarios de clasificación de cáncer con preservación de la privacidad. En quinto lugar, se presenta la biblioteca medigan como plataforma compartida para modelos generativos preentrenados que permite a los investigadores generar datos sintéticos de alta calidad en diversas modalidades de imagen sin necesidad de acceder directamente a datos sensibles de pacientes. Además, los modelos generativos de medigan se analizan exhaustivamente basándose en la Fréchet inception distance (FID) utilizando tanto extractores de características específicos del dominio radiológico como extractores de características estándar invariantes del dominio. En conclusión, esta tesis demuestra el potencial del aprendizaje profundo generativo para abordar los desafíos clave en las imágenes de cáncer, presentando métodos novedosos en la simulación de mejora del contraste, localización de tumores, clasificación de cáncer preservando la privacidad y herramientas para compartir y evaluar modelos generativos, abriendo el camino para la integración de estos modelos en la práctica clínica y el avance de la atención sanitaria tanto para los pacientes individuales como para la sociedad en general.
Citació
Citació
OSUALA, Richard. Generative Deep Learning for Cancer Image analysis. [consulta: 28 de febrer de 2026]. [Disponible a: https://hdl.handle.net/2445/227683]