Avaluació amb usuaris d’explicacions contrafactuals comparant el format tabular i el format textual

Abstract

[ca] Aquest Treball Final de Grau proposa avaluar si els usuaris de peu entenen i estan satisfets amb les explicacions donades per un sistema de classificació fet amb IA, concretament amb explicacions contrafactuals aplicades a un algorisme que decideix si un préstec bancari s’atorga o no. En aquesta avaluació es realitzarà la comparació entre format textual i format tabular, per comprovar quin dels dos formats millora la comprensió i la satisfacció dels usuaris. Per fer-ho, primer introdueix a nivell teòric el camp de la intel·ligència artificial explicable, i a nivell pràctic es prepara uns classificador binari, entrenat amb un conjunt de dades amb sol·licituds de crèdit. També es proposa el disseny experimental per a una prova d’avaluació amb usuaris. Aquesta prova consistirà en plantejar als participants una sol·licitud de crèdit que s’ha classificat com a denegada i posteriorment se’ls mostrarà els contrafactuals en un dels dos formats, per posteriorment omplir dos formularis, un de comprensió i un de satisfacció. [en] This TFG proposes to evaluate whether ordinary users understand and are satisfied with explanations generated by an AI-based classification system, specifically with counterfactual explanations applied to an algorithm that decides if a loan is granted or not. In this evaluation, there will be a comparison between the textual format and the tabular format to check which of the two formats improves user understanding and satisfaction. To accomplish this, there will be a theorical introduction about the field of explainable artificial intelligence and later a binary classificatory will be prepared, trained with a dataset of credits applications. Also, an experimental design for a user evaluation test will be proposed. This test lies in outlining to the participants a credit application classified as denied and afterwards presenting the counterfactuals in one of the two formats, after which they will fill out two questionnaires, one to evaluate understanding and the second one to evaluate satisfaction.