Lexical ambiguity in machine translation and its impact on the evaluation of output by users

Abstract

Der kunstvolle Einsatz von Mehrdeutigkeit in der Politik und im Marketing hat viele Vorteile, weil Mehrdeutigkeit Politikern und Werbeagenturen dabei helfen kann, zwischen mehreren möglichen Bedeutungen zu navigieren und gleichzeitig effektiv zu kommunizieren, ohne Kontroverse auszulösen. Jedoch ist Mehrdeutigkeit in der maschinellen Übersetzung häufig als ein „wichtiger Engpass für Fortschritt” beschrieben worden (Dale, Moisl and Somers 2000). Obwohl viele Studien sich auf die Beschreibung der Mehrdeutigkeit als linguistisches und philosophisches Phänomen konzentrieren, hat bislang keine Studie die Auswirkung von Mehrdeutigkeit auf maschinell übersetzte Korpora gemessen. Diese quantitative Fallstudie setzt es sich zum Ziel, den Einfluss von Mehrdeutigkeit auf die Qualität von Übersetzungsergebnissen zu untersuchen und liefert somit konkrete Daten, um diese Auswirkungen zu messen. In einer empirischen Studie wurden ausgewählte Korpora, welche lexikalische Mehrdeutigkeit enthalten, mit unterschiedlichen M.Ü.-Systemen wie Google Translate und Personal Translator übersetzt. Dank einer komparativen bzw. kontrastiven Analyse menschlicher Urteile konnte die Qualitätsbewertung gemessen werden und demnach auch der Einfluss der Mehrdeutigkeit auf maschinell übersetzten Output. Zu diesem Zweck wurden Metriken wie Flüssigkeit und Adäquanz, die in den meisten Studien verwendet werden, eingesetzt. Zwei Reihen Korpora wurden verglichen: Korpora, die mehrdeutige Abschnitte enthalten und Korpora ohne mehrdeutige Lexeme. Basierend auf 10 Benutzer-Urteilen zur M.Ü.-Qualität zeigen wir, wie die Metriken der Flüssigkeit und Adäquanz durch Mehrdeutigkeit negativ beeinflusst werden. Unsere Untersuchungen zeigen, dass keine absolute Wechselbeziehung zwischen den für Flüssigkeit und Adäquanz gemessenen Werten besteht. Abschließend umfasst diese Arbeit zudem eine Übersicht unterschiedlicher Formen von Mehrdeutigkeit sowie Disambiguierungsansätze in der maschinellen Übersetzung.

The artful use of ambiguity in politics and marketing presents many advantages, as ambiguity can help, both politicians and advertisers, navigate between several possible meanings while communicating effectively enough to not cause any controversy; however, ambiguity has often been described as a “key bottleneck for progress in Machine Translation” (Dale, Moisl and Somers 2000). While several studies have been centered on the description of ambiguity as a linguistic and philosophical phenomenon; there has been no study, to the best of our knowledge, that has measured its impact on machine translation output. This quantitative case study highlights the influence of ambiguity on machine translation’s output quality in the judgement of users thus providing concrete data to measure this impact. In an empirical study, selected corpora containing lexical ambiguities were translated using different Machine Translation (MT) systems such as Google Translate and Personal Translator. A comparative, and contrastive, analysis using human judgement helped to measure users’ judgement of quality and, by extension, the influence of ambiguity on MT output quality. To achieve this objective, the most common fluency and adequacy metrics were employed. Two sets of corpora were compared: firstly, corpora containing ambiguous sections; and secondly, corpora without ambiguous lexemes. Based on 10 users’ judgement of MT output quality, we show that both fluency and adequacy metrics are negatively influenced by the presence of ambiguous words. Our experiments, also, shed light on the fact that no absolute correlation exists between fluency- and adequacy scores. Lastly, this dissertation also includes a comprehensive survey of different forms of ambiguities and ambiguity resolution techniques in MT.