Mehr Produktivität durch motivierte Post Editoren

1

9.11.2016

RWS Group - www.rws-group.de

2 RWS Group - www.rws-group.de

9.11.2016

3

„Qualitative Anforderungen“ und „Wirtschaftliche Anforderungen“ sind zwei

Gründe für die Einführung Maschineller Übersetzung in Unternehmen.

Warum kann die Einführung Maschineller Übersetzung scheitern? Mögliche

Gründe liegen in der Art und Weise der Integration.

Dieser Vortrag beschreibt den Ansatz, den die RWS Group verfolgt hat.

9.11.2016


Zunächst einmal die Frage, warum ein Unternehmen MT einführt.

Letztendlich kann man die Gründe auf zwei Faktoren zurückführen:

1. Qualitative Anforderungen beziehen sich auf die Übersetzungsqualität.

Nicht jeder Text in einem Unternehmen muss auf höchstem Niveau

übersetzt werden.

2. Wirtschaftliche Anforderungen sind leicht erklärt: man will Geld und Zeit

sparen.

4

9.11.2016


Eine denkbare Skalierung für die qualitativen Anforderungen ist folgende:

Texte müssen verständlich und gegebenenfalls fehlerfrei sein. Dabei kann es

sich um interne Kommunikation handeln. Für eine solche Übersetzung genügt

in der Regel ein Maschinelles Übersetzungssystem und ggf. etwas Post

Editing Aufwand. Der Anspruch an die Übersetzungsqualität ist im unteren

Niveaubereich.

Sollen die Texte an externe Leser vielleicht sogar zur Publikation gegeben

werden, muss die Qualität ein höheres Level erreichen. Ein mögliches

Szenario hier wäre Maschinelle Übersetzung mit vollem Post Editing und

Qualitätscheck. Der Anspruch an die Übersetzungsqualität ist im höheren

Niveaubereich.

Rechtssichere Texte und Texte, die eine Akzeptanz erreichen sollen, müssen

auf höchstem Qualitätsniveau erstellt werden. Der Anspruch an die

Übersetzungsqualität ist im höchsten Niveaubereich.

5

9.11.2016


Man möchte nur für die Qualität zahlen, die benötigt wird. Die Übersetzung

soll schneller erstellt werden.

Das sind zwei wirtschaftliche Anforderungen.

Zusammenfassend: Die Ansprüche an die Qualität sind nicht immer gleich

und es soll Zeit und Geld gespart werden.

6

9.11.2016


Um ein MT System zu etablieren, werden einfachsten Falls folgende Schritte

durchgeführt:

- Man wählt ein MT System aus.

- Erstellt eine Vorübersetzung, die an die Übersetzer geschickt wird.

- Das Zieldokument wird zum Kunden geliefert.

7

9.11.2016


Dieser Weg birgt Risiken.

- Das falsche System kann gewählt werden, z.B.

- es ist zu teuer,

- erfüllt die Anforderungen nicht,

- ist in der Handhabung zu aufwendig oder

- kann nicht alle Sprachen bedienen.

- Die Qualität reicht nicht aus

- Terminologie wird nicht einbezogen

- Es eignet sich nicht für Post Editing

- Übersetzer sind nicht für Post Editing qualifiziert

- Realer Post Editing Aufwand ist zu hoch

- Übersetzer sind demotiviert

- Der Kunde ist nicht zufrieden

- Qualität, Preis und Termin konnten nicht eingehalten werden

8

9.11.2016


9

9.11.2016


Was sind die Befürchtungen der Übersetzer (Post Editoren)?

Viele Übersetzer (Post Editoren) sehen in der Maschinellen Übersetzung eine

potentielle Gefahr für ihren Arbeitsplatz und bemängeln die Qualität der MT.

Genau diese Befürchtungen haben wir bei der RWS Group aufgegriffen

und wollten sie von Beginn an abbauen.

10

9.11.2016


11

9.11.2016


Der erste Schritt bestand aus einer Vorauswahl potentieller Systeme.

Diese mussten folgende Voraussetzungen erfüllen:

- Die Einbindung in Trados musste gewährleistet sein

- Die Integration in den Übersetzungsworkflow durfte nicht zu kompliziert

sein

- Unsere ausgewählten Sprachpaare mussten bedient werden

Es war uns bewusst, dass wir nicht primär eine Evaluation von MT Systemen

durchführen, sondern den Post Editoren in den Fokus stellen wollten.

12

9.11.2016


Um die Übersetzer von Beginn an mit ins Boot zu holen, gab es zu Beginn

des Evaluationsprojektes ein gemeinsames Gespräch.

Wir redeten über

- Befürchtungen gegenüber der MT

- Bisherige Erfahrungen

- Weiteren Input

Somit wurden die Übersetzer vom ersten Moment an in die

Entscheidungsprozesse involviert.

13

9.11.2016


Aus den Gesprächen ergab sich, dass Übersetzer teilweise nicht genau

wussten, was Post Editing ist und auch noch keine Erfahrung mit MT gemacht

hatten.

Daher wurde eine Post Editoren Schulung entwickelt.

Die Schulung gliederte sich in drei Teile:

- Vermittlung von Hintergrundwissen

- Einführung in MT Technologien

- Theorie und Praxis des Post Editing

Definition Post Editing: Anpassung des maschinell übersetzten Outputs an

die gewünschte Zielqualität

14

9.11.2016


- Im ersten Teil der Schulung wurden Begriffe definiert und die Geschichte

der MT kurz beleuchtet

- Auch wurden die Ängste der Übersetzer wieder aufgeführt und versucht

abzubauen.

- Weiterhin ging es in diesem ersten Teil der Schulung um die Anwendungs-

fälle der MT. Diese wurden hier schon in den qualitativen Anforderungen

beschrieben (Übersetzung ohne MT vs. Post Editing vs. Maschinelle

Vollübersetzung).

15

9.11.2016


Der zweite Teil beinhaltete einen Einblick in die verschiedenen Technologien

der Maschinellen Übersetzung.

Zunächst wurden regelbasierte und statistische Systeme erklärt.

- Wie funktioniert diese Technologie?

- Was sind die Vor- und Nachteile bei einem Einsatz eines regelbasierten

Systems?

- Außerdem wurden typische Fehler angesprochen, was gerade für die

Übersetzer wichtig ist, da sie sich auf diese Fehler einstellen müssen,

wenn sie den Output eines regelbasierten Systems post editieren müssen.

Weiterhin wurden sogenannte hybride Systeme eingeführt.

Den Abschluss des zweiten Teils bildete eine Einführung in die

Qualitätsbewertung.

- Automatische Scores

- Feedback Formulare

16

9.11.2016


Der dritte Teil beschäftigte sich ausschließlich mit dem Post Editing. Er

begann mit einer theoretischen Einführung.

Grundaussage war, dass ein Post Editor lernen muss, die Fehler der MT zu

lesen und schnell zu entscheiden, welche Teile der MT er wie

wiederverwenden kann. Er muss ein Auge dafür entwickeln.

Nach der theoretischen Einführung trainierten die Post Editoren erstmals die

Praxis anhand von Beispielen und Übungen.

17

9.11.2016


Mit der Schulung hatten wir die Vorbereitungen abgeschlossen.

Bevor wir mit der Durchführung begonnen haben, wurden Engines trainiert

(SMT) und Terminologie integriert (RBMT).

Die Evaluation bei RWS Group bestand aus vier Phasen:

- dem ersten Kontakt mit Post Editing und dem Testen der verschiedenen

Integrationsarten,

- dem eigentlichen Post Editing der von den MT Systemen übersetzten

Dokumente,

- dem Feedback und den Messungsergebnissen

- und dem Abschlussgespräch.

18

9.11.2016


Die Post Editoren testeten drei verschiedene Integrationsarten des MT

Outputs:

- Vollvorübersetzung

- Zusätzliche Fuzzy Matches

- Integration durch AutoSuggest

Die Empfindungen der einzelnen Post Editoren waren völlig verschieden.

Final konnte man sagen, dass je besser die Qualität der MT ist, desto

angenehmer ist es, mit der Vollvorübersetzung zu arbeiten.

19

9.11.2016


Die zweite Phase war der umfangreichste und bedeutendste Teil der

Evaluation.

Dokumente aus verschiedenen Bereichen wurden mit mehreren MT

Systemen übersetzt und die Post Editoren korrigierten den Output.

20

9.11.2016


Neben dem persönlichen Feedback der Post Editoren setzten wir das Plug-In

Qualitivity ein, mit dessen Reports man die

- Dauer des Editings und die

- Anzahl der Edits feststellen kann.

Das Feedback Formular fragte den Post Editoren nach Bewertung bezüglich

der

- Qualität der MT und

- des Nutzens der MT.

- Außerdem hatte er Gelegenheit, seine Meinung einzubringen.

PEM: Prozentualer Anteil der Zeichen, die von den Post Editoren nicht

geändert werden mussten, um zum gewünschten Output zu gelangen.

21

9.11.2016


Das Abschlussgespräch bot allen Post Editoren noch einmal die Möglichkeit,

die Meinung über MT und der Qualität auszudrücken.

Besonders interessant waren die Meinungsunterschiede zwischen geschulten

und ungeschulten Post Editoren (Kontrollgruppe).

Die Aussagen der Ungeschulten erinnerten oft an die Befürchtungen, die

bereits zu Beginn des Vortrages vorgestellt wurden.

22

9.11.2016


Was haben wir herausgefunden?

Diese Tabellen zeigen einen Ausschnitt aus den Ergebnissen.

Die Ergebnisse zeigen, dass es in nahezu jedem Fall zu Zeitersparnissen

gekommen ist, es ist aber genauso offensichtlich, dass kein System auffällig

besser war.

Es konnte festgestellt werden, dass die Zeitersparnis höher wurde, je

mehr/häufiger ein Übersetzer/Post Editor post editiert hatte.

Es ist zu sehen, dass Zeitersparnis und PEM Wert, also

Wiederverwendbarkeit, nicht in Relation stehen.

23

9.11.2016


Diese Folie zeigt einen Gesamtüberblick über die Zeiten der einzelnen MT

Systeme über alle Dokumente und alle Sprachrichtungen.

Man sieht, dass die Zeiten sehr ähnlich sind und auch der PEM Werte nahezu

identisch.

24

9.11.2016


Was positiv aufgefallen ist, dass die Post Editoren vom „Gefühl her“ von einer

großen Zeitersparnis redeten.

Außerdem erzählten sie von einem schnellen Wissensaufbau bezüglich des

Post Editings und einer steilen Lernkurve.

Man kann auch aufgrund des Redens über MT mit den geschulten Post

Editoren durchaus sagen, dass eine Akzeptanz bei ihnen geschaffen wurde.

Was negativ anzumerken ist, dass die Qualität der MT teilweise noch als

schlecht eingeschätzt wurde.

Außerdem kann es schwierig sein, für den Aufbau einer Domäne genügend

Trainingsdaten zu bekommen.

25

9.11.2016


Was sind die Lehren, die wir aus dieser Evaluation gezogen haben?

- Übersetzer müssen geschult werden, nicht nur um Akzeptanz zu schaffen

- Übersetzer sollten in den Prozess der MT Integration involviert werden

- Die Qualität wurde als kritisch eingeschätzt, obwohl die Wiederver-

wendbarkeit sehr hoch war.

- Die Qualität der MT hängt von Domäne, Sprachrichtung und Dokumenttyp

ab. Außerdem natürlich von der Engine bei SMT bzw. den Wörterbüchern

bei RBMT Systemen.

- Die Präsentationsart der MT ist individuell verschieden. Wenn es möglich

ist, sollte der Post Editor mit seiner präferierten Art arbeiten.

26

9.11.2016


Was sind mögliche nächste Schritte?

- Definieren, wo Maschinelle Übersetzung konkret eingesetzt werden kann

- Die Qualität der Maschinellen Übersetzung verbessern

- MT in den Workflow integrieren

27

9.11.2016


Technology

Mehr Produktivität durch motivierte Post Editoren