Pruebas de usuario para la evaluación de la explainability en sistemas de inteligéncia artificial

Abstract

[en] This Final Degree Project presents a user test to compare two presentation methods for explaining an AI system using bank loan counterfactuals. The tests involved 30 participants using a within-subjects design. The first test validated users' understanding of the counterfactuals with eight statements and Yes/No responses. The second test determined whether the user could predict the AI's outcomes; in this test, the user was presented with hypothetical cases, and the participant decided whether the loan would be accepted or not. The third test assessed satisfaction with each counterfactual model using a Likert scale, complemented by a free-form question. Finally, the fourth test assessed the workload of each method using the NASA-TLX test. The results showed that users better understood the counterfactual model in the form of an explanation. Regarding the prediction of different loans based on the counterfactuals presented, there was no significant difference between the different models. On the other hand, overall satisfaction tends to be more positive toward the explanatory model. Finally, the table model shows a tendency toward lower workload, although not significantly so.

[es] Este Trabajo de Final de Grado presenta una prueba de usuario para comparar dos modalidades de presentación de la explicación de un sistema de IA a partir de contrafactuales de préstamos bancarios. Las pruebas han involucrado a 30 participantes con un diseño intra-sujetos. En la primera prueba se valida la comprensión de los usuarios sobre los contrafactuales con 8 afirmaciones y respuestas Sí/No. La segunda prueba averigua si el usuario puede predecir los resultados la IA; en esta se le presentan casos hipotéticos y el participante decide si se aceptaría el préstamo o no. La tercera prueba evalúa la satisfacción con cada modelo de contrafactual con una escala Likert que se complementa con una pregunta libre. Por último, en la cuarta prueba, se ha querido saber la carga de trabajo que conlleva una u otra modalidad, con la prueba NASA-TLX. Los resultados muestran que los usuarios comprenden mejor el modelo de contrafactuales en forma de explicación. En cuanto a la predicción de diferentes préstamos a partir de los contrafactuales presentados, no hay una diferencia significativa entre los diferentes modelos. Por otro lado, en general, la satisfacción tiende a ser más positiva hacia el modelo en forma de explicación. Finalmente, el modelo en forma de tabla muestra una tendencia a menor carga de trabajo, aunque no de forma significativa.

[ca] Aquest Treball de Final de Grau presenta una prova d'usuari per a comparar dues modalitats de presentació de l'explicació d'un sistema de IA a partir de contrafactuals de préstecs bancaris. Les proves han involucrat a 30 participants amb un disseny intra-subjectes. En la primera prova es valida la comprensió dels usuaris sobre els contrafactuals amb 8 afirmacions i respostes Si/No. La segona prova esbrina si l'usuari pot predir els resultats la IA; en aquesta se li presenten casos hipotètics i el participant decideix si s'acceptaria el préstec o no. La tercera prova avalua la satisfacció amb cada model de contrafactual amb una escala Likert que es complementa amb una pregunta lliure. Finalment, en la quarta prova, s'ha volgut saber la càrrega de treball que comporta l'una o l'altra modalitat, amb la prova NASA-TLX. Els resultats mostren que els usuaris comprenen millor el model de contrafactuals en forma d'explicació. Quant a la predicció de diferents préstecs a partir dels contrafactuals presentats, no hi ha una diferència significativa entre els diferents models. D'altra banda, en general, la satisfacció tendeix a ser més positiva cap al model en forma d'explicació. Finalment, el model en forma de taula mostra una tendència a menor càrrega de treball, encara que no de manera significativa.