Tipus de document
Treball de fi de grauData de publicació
Llicència de publicació
Si us plau utilitzeu sempre aquest identificador per citar o enllaçar aquest document: https://hdl.handle.net/2445/230437
A Foundation Model for Glucose Dynamics in Type 1 Diabetes: Pre-training, Evaluation, and Knowledge Transfer
Títol de la revista
Autors
Director/Tutor
ISSN de la revista
Títol del volum
Recurs relacionat
Resum
[eng] Personalised management of Type 1 Diabetes(T1D)dependsonunderstandingeachpatient’sglucose
dynamics, yet supervised labels for clinical models are scarce and costly. The growing availability of continuous glucose monitoring (CGM) wearables creates an opportunity: self-supervised pre-training on unlabelled CGM sequences could learn physiological representations that transfer to clinical tasks.
Two transformer foundation models were trained on 934 adult T1D patients from the METABONET and T1DEXI datasets. The first is a BERT-style bidirectional encoder trained with masked span reconstruction; the second a GPT-style causal decoder trained with next-token prediction. Both take CGM alongside ODE-derived plasma insulin and carbohydrate absorption as input, providing richer physiological context than glucose alone. The encoder’s reconstruction capability was first validated on gap imputation. Lightweight task heads were then fine-tuned on short-term glucose forecasting and nocturnal hypoglycaemia risk prediction, and compared against LSTM baselines trained from scratch. Fine-tuned foundation model variants matched or exceeded baseline performance across all tasks without exposure to any task labels during pre-training.
Patient embeddings from both architectures were analysed using linear probes and dimensionality reduction. The embeddings recovered insulin sensitivity factor and carbohydrate-to-insulin ratio more accurately than a regression model with access to the patient’s full 24-hour insulin and absorption pro
files, parameters the models were never trained to predict. Both embedding spaces stratified patients by glycaemic risk without supervision.
These results show that self-supervised pre-training on CGM sequences learns representations that transfer across clinical tasks and encode physiological information beyond what the pre-training objective explicitly demands.
[cat] La gestió personalitzada de la diabetis tipus 1 (DT1) depèn de la comprensió de la dinàmica de la glucosa de cada pacient, però les etiquetes supervisades per a models clínics són escasses i costoses. La disponibilitat creixent de dispositius de monitoratge continu de glucosa (MCG) ofereix una oportunitat: el preentrenament autosupervisat en seqüències de MCG no etiquetades per aprendre representacions fisiològiques transferibles a tasques clíniques. S’han entrenat dos models fonamentals transformer amb 934 pacients adults amb DT1 de les fonts METABONET i T1DEXI. El primer és un codificador bidireccional d’estil BERT entrenat a partir de la reconstrucció de segments emmascarats; el segon, un descodificador causal d’estil GPT entrenat mitjançant predicció del següent token. Ambdós utilitzen com a entrada el MCG juntament amb la insulina plasmàtica i l’absorció de carbohidrats, proporcionant un context fisiològic més ric que la glucosa sola. La capacitat de reconstrucció del codificador s’ha validat primer en la imputació de buits. Després, s’han integrat models lleugers per a la predicció de la glucosa a curt termini i del risc d’hipoglucèmia nocturna, i s’han comparat amb models base LSTM entrenats des de zero. Les variants del model fonamental han igualat o superat el rendiment dels models base en totes les tasques sense haver estat exposats a etiquetes de tasca durant el preentrenament. Els embeddings dels cohorts d’ambdues arquitectures s’han analitzat mitjançant models lineals i reducció de dimensionalitat. Els embeddings han recuperat el factor de sensibilitat a la insulina i la ràtio carbohidrat-insulina amb més precisió que un model de regressió amb accés al perfil complet de 24 hores d’insulina i absorció del pacient, paràmetres que els models mai han estat entrenats per predir. Per altra banda, ambdós espais d’embeddings estratifiquen els pacients per risc glicèmic de forma no supervisada.
Aquests resultats demostren que el preentrenament autosupervisat en seqüències de MCG aprèn representacions que es transfereixen entre tasques clíniques i codifiquen informació fisiològica més enllà de la corresponent a l’objectiu de preentrenament.
Descripció
Treballs Finals de Grau d'Enginyeria Biomèdica. Facultat de Medicina i Ciències de la Salut. Universitat de Barcelona. Curs: 2025-2026. Tutor/Director: Juan Ignacio Barrios, Josep Vehí Casellas
Matèries (anglès)
Citació
Citació
FONT OLIVERAS, Marc. A Foundation Model for Glucose Dynamics in Type 1 Diabetes: Pre-training, Evaluation, and Knowledge Transfer. [consulted: 24 of August of 2026]. Available at: https://hdl.handle.net/2445/230437