Conformal prediction and uncertainty quantification in recommender systems

Abstract

[en] This thesis investigates the lack of explainability in machine learning models, particularly focusing on mitigating this issue by measuring model uncertainty and adjusting outputs using conformal prediction. Conformal prediction provides a set of possible outcomes, backed by statistical analysis, to ensure a high confidence level in the predictions. The approach will be demonstrated across three domains: classification with the MNIST dataset, regression for estimating California real estate prices, and recommender systems. In recommender systems, the method will account for varying levels of uncertainty in user preferences, ensuring broader recommendation sets for users with high uncertainty and narrower sets for more predictable users.

[ca] Aquesta tesi investiga la manca d’explicabilitat en els models d’aprenentatge automàtic i se centra especialment en mitigar aquest problema mesurant la incertesa del model i ajustant la sortida del mateix utilitzant la predicció conformal. La predicció conformal proporciona un conjunt de possibles resultats, recolzats per anàlisis estadístiques, garantint un alt nivell de confiança en les prediccions. Aquest enfocament es demostrarà en tres dominis: classificació amb el conjunt de dades MNIST, regressió per estimar els preus de cases a Califòrnia i en sistemes de recomanació. En aquest últim, el mètode considera diferents nivells d’incertesa en les preferències dels usuaris, assegurant conjunts de recomanacions més amplis per als usuaris amb alta incertesa i conjunts més estrets per als usuaris més predictibles.