Fitxers
Tipus de document
TesiVersió
Versió publicadaData de publicació
Llicència de publicació
Si us plau utilitzeu sempre aquest identificador per citar o enllaçar aquest document: https://hdl.handle.net/2445/231105
Automated digital corrective feedback in game-based language learning games
Títol de la revista
Autors
Director/Tutor
ISSN de la revista
Títol del volum
Recurs relacionat
Resum
[eng] This dissertation analyses the role of feedback in digital language learning games for children, and in particular of the automated corrective feedback in Navigo, a digital literacy game developed as part of the iRead project. Navigo for English as a Foreign Language learners contained fifteen minigames targeting 223 distinct linguistic features, ranging from phonological aspects such as grapheme–phoneme correspondence to more complex syntactical features like relative clauses.
The empirical study involved 732 Spanish-Catalan primary school learners, aged 11–12, across eight schools. Participants played the games for one hour per week in their regular English classes over two academic years, completing a total of 67,323 minigames. Each error in a minigame triggered feedback, either in the form of outcome feedback – simply indicating that the answer was incorrect – or process feedback, which included additional information intended to support repair and improvement. Drawing on existing classifications, process feedback was further subdivided into hints, metalinguistic feedback, and informational feedback. Across the study, 108,168 instances of feedback were recorded, 37,243 of which were process feedback. The learners’ immediate responses following each feedback instance were also logged, allowing for a fine-grained analysis of feedback effectiveness at scale.
To analyse the data, the study employed Item Response Theory within a logistic mixed-model framework. This allowed for the disentangling of individual differences, class-level factors, activity difficulty, language feature difficulty, longitudinal development, and feedback type. The scale and longitudinal scope of the dataset provided an unusual opportunity to examine how feedback, proficiency gains, and difficulty interact in digital learning environments.
Three notable findings emerged during the course of this modelling. First, the Navigo minigames varied significantly in difficulty: activities involving working memory, word spelling, gap-filling, or time pressure were substantially harder than matching games. Second, there were marked differences in the difficulty of language features. Morphological features, English vowels with inconsistent orthographies, and syllabification posed the greatest challenges, while frequent words and transparent consonant correspondences were the easiest, often aided by cross-linguistic transfer from learners’ L1. These difficulty hierarchies, objectively derived from large-scale learner data, can serve as a valuable basis for future study of English language acquisition. Third, there was clear evidence of learner improvement over time. Although causal claims about learning gains cannot be made, the data indicated that increased engagement with the minigames correlated with an increased likelihood of correct responses.
Regarding feedback, outcome feedback was more effective than process feedback in prompting correct responses. This contrasts with much of the literature on digital feedback, which suggests the superiority of process-oriented feedback. One possible explanation is the age of the participants: while adults may be better able to utilise detailed metalinguistic explanations, younger learners may benefit more from immediate, clear outcome signals, possibly triggering implicit, inductive learning mechanisms.
Within the process feedback types, hints proved the least effective, possibly due to the high working memory demands placed on learners. Informational feedback was roughly as effective as outcome feedback, while metalinguistic feedback fell in between. Notably, certain formulations of informational and metalinguistic feedback outperformed outcome feedback significantly, suggesting that, while outcome feedback is often sufficient, well-crafted process feedback does have the potential to aid recovery from errors and facilitate deeper understanding.
These findings carry important pedagogical and design implications. For digital language learning games aimed at children, developers may wish to prioritise outcome feedback, while investing selective effort in refining and empirically testing process feedback that has the greatest potential for enhancing learning. More broadly, the dissertation demonstrates the value of large-scale log data and advanced modelling techniques in uncovering nuanced insights into second language learning processes within digital environments.
[cat] Aquesta tesi analitza el rol del feedback en els jocs digitals per a l’aprenentatge de llengües en infants, centrant-se especialment en el feedback correctiu automatitzat de Navigo, un joc d’alfabetització digital desenvolupat dins del projecte iRead. Navigo, destinat a estudiants d’anglès com a llengua estrangera, inclou quinze minijocs que treballen 223 característiques lingüístiques, des d’aspectes fonològics com la correspondència grafema-fonema fins a estructures sintàctiques més complexes, com les oracions de relatiu. L’estudi va involucrar 732 alumnes de primària, d’entre 11 i 12 anys, de vuit escoles. Els participants van jugar a Navigo durant una hora setmanal al llarg de dos cursos acadèmics, completant 67.323 minijocs. Cada error que cometien activava un tipus de feedback diferent: de resultat, indicant simplement que la resposta era incorrecta, o de procés, amb informació addicional per ajudar a corregir i millorar futures respostes. Segons estudis previs, el feedback de procés es subdividia en pistes, feedback metalingüístic i feedback informatiu. Es van registrar 108.168 exemples de feedback, 37.243 dels quals foren de procés, així com les respostes immediates dels estudiants, permetent un anàlisi detallat de l’efectivitat del feedback. Per analitzar les dades, es va aplicar la Teoria de la Resposta a l’Ítem a través d’un model logístic mixt, permetent aïllar diferències individuals, factors relatius a l’aula, dificultat de l’activitat i de la característica lingüística, desenvolupament longitudinal i tipus de feedback. L’escala i la durada de l’estudi van oferir una oportunitat única per examinar com interaccionen el feedback, els guanys en competència en llengua anglesa i la dificultat en entorns digitals. Els resultats mostren variacions significatives entre els minijocs quant a dificultat: activitats de memòria operativa, ortografia, emplenament de buits o amb límit temporal eren més difícils que els jocs de relacionar. També mostren diferències entre característiques lingüístiques: les activitats centrades en morfologia, vocals irregulars i sil·labificació resultaren més difícils, mentre que aquelles centrades en paraules freqüents i correspondències consonàntiques transparents foren més fàcils. Quant al feedback, el de resultat va ser més efectiu que el de procés, tot i que certes formes de feedback de procés ben dissenyades van esdevenir més efectives. Aquests resultats suggereixen que, en els jocs digitals per a nens, cal prioritzar el feedback de resultat i aprofundir més en el feedback de procés, atès el seu potencial per millorar l’aprenentatge. D’altra banda, els resultats, evidencien la rellevància de dades a gran escala i models avançats per a comprendre processos d’aprenentatge de llengües estrangeres en entorns digitals.
[cat] Aquesta tesi analitza el rol del feedback en els jocs digitals per a l’aprenentatge de llengües en infants, centrant-se especialment en el feedback correctiu automatitzat de Navigo, un joc d’alfabetització digital desenvolupat dins del projecte iRead. Navigo, destinat a estudiants d’anglès com a llengua estrangera, inclou quinze minijocs que treballen 223 característiques lingüístiques, des d’aspectes fonològics com la correspondència grafema-fonema fins a estructures sintàctiques més complexes, com les oracions de relatiu. L’estudi va involucrar 732 alumnes de primària, d’entre 11 i 12 anys, de vuit escoles. Els participants van jugar a Navigo durant una hora setmanal al llarg de dos cursos acadèmics, completant 67.323 minijocs. Cada error que cometien activava un tipus de feedback diferent: de resultat, indicant simplement que la resposta era incorrecta, o de procés, amb informació addicional per ajudar a corregir i millorar futures respostes. Segons estudis previs, el feedback de procés es subdividia en pistes, feedback metalingüístic i feedback informatiu. Es van registrar 108.168 exemples de feedback, 37.243 dels quals foren de procés, així com les respostes immediates dels estudiants, permetent un anàlisi detallat de l’efectivitat del feedback. Per analitzar les dades, es va aplicar la Teoria de la Resposta a l’Ítem a través d’un model logístic mixt, permetent aïllar diferències individuals, factors relatius a l’aula, dificultat de l’activitat i de la característica lingüística, desenvolupament longitudinal i tipus de feedback. L’escala i la durada de l’estudi van oferir una oportunitat única per examinar com interaccionen el feedback, els guanys en competència en llengua anglesa i la dificultat en entorns digitals. Els resultats mostren variacions significatives entre els minijocs quant a dificultat: activitats de memòria operativa, ortografia, emplenament de buits o amb límit temporal eren més difícils que els jocs de relacionar. També mostren diferències entre característiques lingüístiques: les activitats centrades en morfologia, vocals irregulars i sil·labificació resultaren més difícils, mentre que aquelles centrades en paraules freqüents i correspondències consonàntiques transparents foren més fàcils. Quant al feedback, el de resultat va ser més efectiu que el de procés, tot i que certes formes de feedback de procés ben dissenyades van esdevenir més efectives. Aquests resultats suggereixen que, en els jocs digitals per a nens, cal prioritzar el feedback de resultat i aprofundir més en el feedback de procés, atès el seu potencial per millorar l’aprenentatge. D’altra banda, els resultats, evidencien la rellevància de dades a gran escala i models avançats per a comprendre processos d’aprenentatge de llengües estrangeres en entorns digitals.
Matèries (anglès)
Citació
Col·leccions
Citació
PATTEMORE, Matthew. Automated digital corrective feedback in game-based language learning games. [consulted: 19 of August of 2026]. Available at: https://hdl.handle.net/2445/231105