Guia d'anotació de la toxicitat

Abstract

[cat] En aquest treball es fa una proposta d’una guia d’anotació per etiquetar la toxicitat o llenguatge d’odi, amb diferents trets i paràmetres per tal de caracteritzar aquest tipus de llenguatge i poder classificar-lo en diferents graus de toxicitat. A partir d'aquesta proposta s'ha anotat un subconjunt del corpus NewsCom-HS que inclou un total de 1262 comentaris que corresponen a quatre temes: economia, immigració, política i religió. Dels comentaris anotats, 302 són lleugerament tòxics, 144 tòxics i 69 molt tòxics. A més, els resultats de l’anotació del corpus ens permeten observar quins trets són més útils per tal de caracteritzar i classificar el llenguatge d’odi, i també crear un corpus Gold Standard, és a dir, un corpus anotat amb una anotació fiable i de qualitat que s’utilitzarà per tal d’entrenar sistemes de detecció automàtica de la toxicitat.

[eng] This work is a proposal for a hate speech annotation guide, with different traits and parameters that allows us to characterize hate speech and help us classificate it in different levels. With this proposal, we have annotated a subset of the corpus NewsCom-HS, which contains a total of 1262 comments that correspond to four different topics: economy, immigration, politics, and religion. Of all the annotated comments, 302 are slightly toxic, 144 are toxic and 69 are very toxic. Also, the results of the corpus annotation using our guide allows us to observe which traits are more useful to characterize and describe hate speech, and to create a Gold Standard corpus, a corpus with a reliable and high quality annotation, which will enable us to train automatic hate speech detection systems.