VERTa: una métrica de evaluación de la traducción automática. Aplicaciones a la investigación sobre el español y el inglés como L2

Abstract

[spa] Este artículo presenta VERTa (https://github.com/jatserias/VERTa para la versión completa y http://grial.ub.edu:8080/VERTaDemo/ para la demo online en español), una métrica de evaluación de la traducción automática (TA) para el inglés y el español. VERTa es una métrica que utiliza información lingüística para evaluar frases traducidas automáticamente, a través de la comparación de dichas frases con frases traducidas por traductores humanos. A diferencia de otras métricas, VERTa proporciona no tan solo una puntuación por cada frase, sino también un análisis más cualitativo de los resultados obtenidos. El artículo analiza los pasos que se llevaron a cabo antes de diseñar e implementar la métrica: el estudio lingüístico del corpus de desarrollo para encontrar aquellas características más significativas que la métrica debía poder cubrir y las herramientas de procesamiento del texto que debían aplicarse a los segmentos comparados. Más adelante se describen los diferentes módulos que forman la métrica y la información que aportan, junto con ejemplos de la información que recibe el usuario. Aunque VERTa es una métrica de evaluación de la TA, se diferencia del resto en que durante su desarrollo se puso especial énfasis en analizar la información lingüística que debía aportar al usuario, para ir más allá de una mera puntuación del segmento traducido y poder servir como una primera guía cualitativa para detectar los errores de la traducción automática. En consecuencia, VERTa puede utilizarse en el área del aprendizaje, de la enseñanza y de la evaluación del inglés y del español como segundas lenguas y como lenguas extranjeras, así como en la investigación en este campo.

[cat] Aquest article presenta VERTa (https://github.com/jatserias/VERTa per a la versió completa i http://grial.ub.edu:8080/VERTaDemo/ per a la demo online en castellà), una metrica d’avaluació de la traducció automàtica (TA) per a l’anglès i el castellà. VERTa utilitza informació lingüística per avaluar frases traduïdes automàticament, tot comparant-les amb frases traduïdes per traductors humans. A diferència d’altres mètriques, VERTa no només proporciona una puntuació per a cada frase traduïda, sinó que també fa una anàlisi més qualitativa dels resultats obtinguts. Aquest article descriu les passes que es van realitzar abans de dissenyar i implementar la mètrica: l’estudi lingüístic del corpus de desenvolupament per tal de trobar les característiques lingüístiques més rellevants que la mètrica havia de tractar i les eines de processament textual amb què s’haurien de tractar els segments comparats. A més, l’article analitza els mòduls que formen la mètrica i la informació que proporcionen, juntament amb exemples de la informació que rep l’usuari. Tot i que VERTa és una mètrica d’avaluació de la TA, es diferencia de la resta de mètriques pel fet que la informació que proporciona va més enllà d’una simple puntuació del segment avaluat i serveix com una primera guia qualitativa per detectar errors de traducció automàtica. En conseqüència, VERTa pot utilitzar-se per a l’aprenentatge, l’ensenyament i l’avaluació de l’anglès i el castellà com a segones llengües o com a llengües estrangeres, i també per a la recerca en aquesta àrea.

[eng] This article presents VERTa (https://github.com/jatserias/VERTa for the full version and http://grial.ub.edu:8080/VERTaDemo/ for the Spanish online demo), a machine translation (MT) evaluation metric for English and Spanish. VERTa uses linguistic information to evaluate machine-translated sentences by comparing them with sentences translated by human translators. Unlike other metrics, VERTa provides not only a score for each sentence compared, but also a more qualitative analysis of the results obtained. This article discusses the steps carried out before designing and implementing the metric: the linguistic study of the development corpus to find the most relevant linguistic features that the metric should be able to cover, and the text processing tools to be applied to the compared segments. In addition, it details the modules included in the metric and the information they provide, together with examples of the information the user receives. Although VERTa is an MT evaluation metric, it differs from the rest in that during its development special emphasis was placed on analyzing the linguistic information it should provide to the user, thus going beyond a mere scoring of the translated segment and serving as a first qualitative guide to detect machine translation errors. Consequently, VERTa can be used for the learning, teaching and evaluation of English and Spanish as second and/or foreign languages, as well as to carry out research studies in this area