Tipus de document
Treball de fi de grauData de publicació
Llicència de publicació
Si us plau utilitzeu sempre aquest identificador per citar o enllaçar aquest document: https://hdl.handle.net/2445/232106
Federated Adaptation of a Cardiac MRI Foundation Model for Multi-Task Image Analysis
Títol de la revista
Director/Tutor
Contribució addicional
ISSN de la revista
Títol del volum
Resum
[eng] Cardiovascular diseases remain the leading cause of death worldwide, driving the need for accurate and scalable diagnostic tools. Foundation models have emerged as a powerful paradigm in medical imaging, achieving state-of-the-art performance across a variety of tasks. More recently, their application to cardiac image analysis has shown particular promise for automating the assessment of cardiac anatomy and function. Federated Learning (FL) addresses this bottleneck by enabling collaborative model training without sharing raw patient data. However, real-world federated settings introduce substantial data heterogeneity across clinical sites, including differences in scanner vendors, acquisition protocols, and patient demographics, that can degrade model convergence under standard aggregation strategies.
This work investigates the federated fine-tuning of CineMA, a state-of-the-art cardiac magnetic resonance (CMR) foundation model based on a multi-view convolutional-transformer masked autoencoder architecture. The study leverages Flower, an open-source FL framework, to evaluate both conventional full fine-tuning (FFT) and parameter-efficient fine-tuning through Low-Rank Adaptation (LoRA) under highly heterogeneous non-IID conditions. In addition, four aggregation strategies were compared: FedAvg (baseline), FedProx, FedCE, and Rate-My-LoRA. The framework is assessed across three downstream clinical tasks: binary pathology classification, left ventricle ejection fraction (LVEF) regression, and multiclass cardiac segmentation. Experiments are conducted across five clients partitioned by scanner vendor and derived from the public ACDC and M&Ms datasets. The evaluation is complemented by uncertainty estimation using Monte Carlo Dropout and per-client fairness analysis.
Three main findings emerge from the experimental evaluation. First, the relative performance of FFT and LoRA was task-dependent. Federated LoRA proved competitive with FFT for segmentation, achieving performance within $0.01$ Dice points, whereas centralized LoRA exhibited a larger gap of $0.018$. In contrast, federated LoRA underperformed compared with FFT on both the classification and regression tasks. Second, among aggregation strategies, FedProx under FFT emerged as the most consistent method across all tasks—improving weighted classification MCC from $0.566$ to $0.650$ under class re-weighting where FedAvg dropped from $0.652$ to $0.482$, and achieving the highest positive $R^{2}$ ($0.183$) among federated regression methods—although it did not achieve the highest scores in every setting: FedAvg FFT led unweighted classification (MCC $0.652$), FedCE LoRA achieved the best federated segmentation Dice ($0.904$), and FedProx LoRA itself performed among the weakest LoRA-based classifiers. FedCE and Rate-My-LoRA performed competitively on segmentation but showed limited performance on classification and regression, where their reliance on per-round client validation signals proved unreliable given small per-client sample sizes.
The evaluation framework also incorporated per-client fairness metrics and Monte Carlo (MC) Dropout uncertainty estimation across all three tasks. Vendor domain shift and dataset size emerged as the dominant drivers of performance disparity: the GE client, operating under a distinct acquisition protocol with $105$ samples, was the primary source of inequity in classification, yet performed comparably to larger clients in segmentation. This dissociation demonstrates that vendor-induced heterogeneity degrades abstract diagnostic features while sparing geometric anatomical representations. Uncertainty estimates were well-calibrated under FFT, with FedProx approaching centralized levels, while LoRA methods exhibited three to five times higher epistemic uncertainty in classification and regression. Overall, these results demonstrate that federated fine-tuning of cardiac foundation models is viable across multiple clinical tasks, that strategy selection should be guided by task type and client characteristics, and that proximal regularization provides a practical and reliable approach for stabilizing distributed optimization under real-world clinical data heterogeneity.
[spa] Las enfermedades cardiovasculares siguen siendo la principal causa de muerte a nivel mundial, lo que impulsa la necesidad de herramientas diagnósticas precisas y escalables. Los modelos fundacionales han surgido como un paradigma poderoso en el diagnóstico por imágenes médicas, logrando un rendimiento de vanguardia (state-of-the-art) en una variedad de tareas. Más recientemente, su aplicación al análisis de imágenes cardíacas ha mostrado una promesa particular para automatizar la evaluación de la anatomía y la función cardíacas. El Aprendizaje Federado (FL, por sus siglas en inglés) aborda este cuello de botella al permitir el entrenamiento colaborativo de modelos sin compartir los datos brutos de los pacientes. Sin embargo, los entornos federados del mundo real introducen una heterogeneidad de datos sustancial entre los centros clínicos, incluyendo diferencias en los proveedores de escáneres, los protocolos de adquisición y la demografía de los pacientes, lo que puede degradar la convergencia del modelo bajo estrategias de agregación estándar.
Este trabajo investiga el ajuste fino federado (federated fine-tuning) de CineMA, un modelo fundacional de resonancia magnética cardíaca (CMR) de vanguardia basado en una arquitectura de autocodificador enmascarado de convolución y transformador multivista (multi-view convolutional-transformer masked autoencoder). El estudio aprovecha Flower, un marco de trabajo de FL de código abierto, para evaluar tanto el ajuste fino completo (full fine-tuning, FFT) convencional como el ajuste fino eficiente en parámetros a través de la Adaptación de Bajo Rango (Low-Rank Adaptation, LoRA) bajo condiciones no-IID altamente heterogéneas. Además, se compararon cuatro estrategias de agregación: FedAvg (línea base), FedProx, FedCE y Rate-My-LoRA. El marco de trabajo se evalúa en tres tareas clínicas posteriores (downstream): clasificación patológica binaria, regresión de la fracción de eyección del ventrículo izquierdo (LVEF) y segmentación cardíaca multiclase. Los experimentos se llevan a cabo en cinco clientes divididos por proveedor de escáner y derivados de los conjuntos de datos públicos ACDC y M&Ms. La evaluación se complementa con la estimación de la incertidumbre mediante el Dropout de Monte Carlo y un análisis de equidad (fairness) por cliente.
De la evaluación experimental surgen tres hallazgos principales. Primero, el rendimiento relativo de FFT y LoRA dependió de la tarea. LoRA federado demostró ser competitivo con FFT para la segmentación, logrando un rendimiento dentro de un margen de $0.01$ puntos de Dice, mientras que LoRA centralizado exhibió una brecha mayor de $0.018$. Por el contrario, LoRA federado tuvo un rendimiento inferior en comparación con FFT tanto en las tareas de clasificación como en las de regresión. Segundo, entre las estrategias de agregación, FedProx bajo FFT surgió como el método más consistente en todas las tareas—mejorando el MCC de clasificación ponderado de $0.566$ a $0.650$ bajo reponderación de clases, donde FedAvg cayó de $0.652$ a $0.482$, y logrando el $R^{2}$ positivo más alto ($0.183$) entre los métodos de regresión federados—aunque no alcanzó las puntuaciones más altas en todos los escenarios: FedAvg FFT lideró la clasificación no ponderada (MCC de $0.652$), FedCE LoRA logró el mejor Dice de segmentación federada ($0.904$), y el propio FedProx LoRA se desempeñó entre los clasificadores basados en LoRA más débiles. FedCE y Rate-My-LoRA tuvieron un desempeño competitivo en la segmentación, pero mostraron un rendimiento limitado en la clasificación y la regresión, donde su dependencia de las señales de validación de los clientes por ronda resultó poco confiable debido al tamaño reducido de las muestras por cliente.
El marco de evaluación también incorporó métricas de equidad por cliente y estimación de incertidumbre mediante Dropout de Monte Carlo (MC) en las tres tareas. El cambio de dominio del proveedor (vendor domain shift) y el tamaño del conjunto de datos surgieron como los factores dominantes de la disparidad en el rendimiento: el cliente GE, que operaba bajo un protocolo de adquisición distinto con $105$ muestras, fue la principal fuente de inequidad en la clasificación, pero se desempeñó de manera comparable a los clientes más grandes en la segmentación. Esta disociación demuestra que la heterogeneidad inducida por el proveedor degrada las características diagnósticas abstractas mientras preserva las representaciones anatómicas geométricas. Las estimaciones de incertidumbre estuvieron bien calibradas bajo FFT, con FedProx acercándose a los niveles centralizados, mientras que los métodos LoRA exhibieron una incertidumbre epistémica de tres a cinco veces mayor en la clasificación y la regresión. En general, estos resultados demuestran que el ajuste fino federado de modelos fundacionales cardíacos es viable en múltiples tareas clínicas, que la selección de la estrategia debe guiarse por el tipo de tarea y las características del cliente, y que la regularización proximal proporciona un enfoque práctico y confiable para estabilizar la optimización distribuida bajo la heterogeneidad de datos clínicos del mundo real.
Descripció
Treballs Finals de Grau d'Enginyeria Informàtica, Facultat de Matemàtiques, Universitat de Barcelona, Any: 2026, Director: Polyxeni Gkontra and Joan Perramon
Recurs relacionat
Matèries (anglès)
Citació
Citació
HERNANDEZ VILLARREAL, Rodolfo Romeo. Federated Adaptation of a Cardiac MRI Foundation Model for Multi-Task Image Analysis. [consulted: 21 of October of 2026]. Available at: https://hdl.handle.net/2445/232106