PDF/UA Real Life Check 2017 | Ausgabe 2...2016-06-14 Markus Erle axes4 PDF/UA Real Life Check 2017 | Ausgabe 2 Eine Studie zum Stand der PDF-Barrierefreiheit auf den Internetseiten

A PDF Association Presentation · © 2016 by PDF Association · www.pdfa.org

www.pdfa.org

2016-06-14

Markus Erle axes4

PDF/UA Real Life Check 2017 | Ausgabe 2Eine Studie zum Stand der PDF-Barrierefreiheit auf den Internetseiten deutscher Bundesministerien

1

PDF Days Europe 2017

1

Markus Erle, axes4 | @axespdf


www.pdfa.org

2016-06-14

Markus Erle axes4

I | Ein paar Worte vorweg

■ Was wollten wir wissen?

■ Studiendesign

■ Welche Limitierungen haben wir bewusst in Kauf genommen?

2


www.pdfa.org

2016-06-14

Markus Erle axes4

■ Wie ist der aktuelle Stand der PDF-Barrierefreiheit (Menge und Qualität barrierefreier PDF-Dokumente mit Hilfe des PDF/UA-Index)?

■ Wie sieht die Rangliste der Ministerien im Hinblick auf den PDF/UA-Index aus, um Engagement und Qualität sichtbar zu machen

■ Hat sich etwas im Vergleich zum Vorjahr verändert?

■ Ist PDF/UA bei den Ministerien inzwischen stärker verankert?

■ Mit welchen Programmen werden die Dokumente erstellt?

■ Lassen sich Rückschlüsse ziehen zwischen verwendeten Programmen und durchschnittlichem PDF/UA-Index?

3

Was wollten wir wissen?


www.pdfa.org

2016-06-14

Markus Erle axes4

■ 14 Bundesministerien

■ Zeitraum: 1 Jahr: Google Crawler für den Zeitraum 01.04.2016 bis 31.03.2017

■ Prüfkriteren: Alle Maschinen prüfbaren PDF/UA-Anforderungen gemäß Matterhorn-Protokoll gewichtet nach Schwere der Barriere im Hinblick auf WCAG 2 | PDF/UA-Index

■ Metadaten: Erstelldatum, Erstellungsprogramm

■ Stichprobenmäßige Detail- und Plausibilitätsprüfungen zur Sicherstellung der Datenqualität

■ Alle Dokumente sind dokumentiert mit Downloaddatum, URL und Testergebnis

4

Studiendesign


www.pdfa.org

2016-06-14

Markus Erle axes4

■ Schnelles Prüfen großer Dokumentmengen muss sich auf automatische Prüfungen fokussieren

■ Google Crawler findet nicht alle tatsächlich veröffentlichten PDF-Dokumente im entsprechenden Zeitraum

■ Keine Berücksichtigung der textlichen Kennzeichnung nicht barrierefreier PDF-Dokumente

■ Kein Überprüfen, ob Inhalte in einer alternativen zugänglichen Form vorliegen (beispielsweise als HTML)

■ Dokumente können nach dem ersten Indizieren durch Google ausgetauscht worden sein

■ Begrenzte Aussagekraft der Metadaten: Nicht alle Programme hinterlassen ihre Kennzeichnung

5

Limitierungen


www.pdfa.org

2016-06-14

Markus Erle axes4

II | PDF/UA-Index

1. Was ist der PDF/UA-Index?

2. Warum einen Algorithmus?

3. Wie wird er berechnet?

4. Aussagekraft

5. PDF/UA-Index pro Ministerium

6. PDF/UA-Index pro Dokument

6


www.pdfa.org

2016-06-14

Markus Erle axes4

■ Eine Kennzahl, die pro Dokument und pro maschinenprüfbarer PDF/UA-Anforderung berechnet wird

■ Vergleichbar mit einem in Prozent aus gedrückten PAC-Report

■ Qualität gemäß Maschinen-prüfbarer Anforderungen

7

1 | Was ist der PDF/UA-Index?


www.pdfa.org

2016-06-14

Markus Erle axes4

■ Nicht jede Anforderung bedeutet eine gleichwertige Barriere: Gewichtung der Prüfpunkte gemäß WCAG 2

■ Nicht jeder Prüfpunkt ist für jedes Dokument relevant: Dynamischer Maximalwert als 100% (abhängig vom Dokument)

8

2 | Warum einen Algorithmus?


www.pdfa.org

2016-06-14

Markus Erle axes4

■ Wieviel % eines einzelnen Prüfpunktes sind erfüllt (dieser kann aus einem Check oder aus vielen Checks bestehen)

■ Gewichtung eines Prüfpunktes für das Gesamtergebnis pro Dokument gemäß Schwere der Barriere im Hinblick auf WCAG 2-Kriterien

■ Die Kennzahl gibt den Restanteil nach Abzug der Strafpunkte in % an (bezogen auf den Dynamischen Maximalwert)

9

3 | Wie wird der PDF/UA-Index berechnet?


www.pdfa.org

2016-06-14

Markus Erle axes4

■ Ein PDF/UA-Index von 100 ist die Grundlage für barrierefreie Dokumente

■ Unter 95 können die Dokumente nicht als barrierefrei bezeichnet werden

■ Je weiter der Wert von 100 weg ist, desto mehr Prüfpunkte sind nicht erfüllt

■ Ein PDF ohne Tags kann immer noch einen Wert von 60 aufweisen

10

4 | Aussagekraft des PDF/UA-Index?


www.pdfa.org

2016-06-14

Markus Erle axes4

■ Wieviel Prozent der maschinenprüfbaren PDF/UA-Anforderungen sind bei einem bestimmten Dokument erfüllt?

11

5 | PDF/UA-Index pro Dokument


www.pdfa.org

2016-06-14

Markus Erle axes4

■ Durchschnittswert aller Dokumente des entsprechenden Zeitraums

■ Verteilung ist hier natürlich entscheidend

12

6 | PDF/UA-Index pro Ministerium


www.pdfa.org

2016-06-14

Markus Erle axes4

■ Durchschnittswert aller Ministerien des entsprechenden Zeitraums

13

7 | PDF/UA-Index pro Land


www.pdfa.org

2016-06-14

Markus Erle axes4

II | Ergebnisse

1. Grundlegende Zahlen

2. PDF-Dokumente mit Tags

3. Durchschnittlicher PDF/UA-Index pro Ministerium

4. PDF/UA-Index: Prozentualer Anteil in 4 Kategorien pro Ministerium

5. Metadaten

14


www.pdfa.org

2016-06-14

Markus Erle axes4

1| Grundlegende Zahlen

■ 2.915 analysierte Dokumente

15

456439 428

201 197 193 193174 163

135112

9070 64

0

50

100

150

200

250

300

350

400

450

500

BMWi BMJV BMF BMBF BMVI BMG BMUB BMAS BMEL BMFSFJ BMZ BMI BMV AA

Anzahl PDFs

Anzahl PDFs


www.pdfa.org

2016-06-14

Markus Erle axes4

2| Anzahl PDFs

16

83,679,8

71,166,4

63,7 61,657,0 56,7 55,7 54,6 53,8

50,3

40,6

25,7

57,0

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

PDF mit Tags in % im Jahresvergleich

2017


www.pdfa.org

2016-06-14

Markus Erle axes4

1| PDF-Dokumente mit Tags

17

83,679,8

71,166,4

63,7 61,657,0 56,7 55,7 54,6 53,8

50,3

40,6

25,7

57,0

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0


2017


www.pdfa.org

2016-06-14

Markus Erle axes4

83,679,8

71,166,4

63,7 61,657,0 56,7 55,7 54,6 53,8

50,3

40,6

25,7

57,0

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0


2017


www.pdfa.org

2016-06-14

Markus Erle axes4

81,484,7

63,2

68,4

58,861,4

43,4

29,1

73,8

41,5

55,8

38,8 38,6

67,1

57,6

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0


2017 2016


www.pdfa.org

2016-06-14

Markus Erle axes4

3| PDF/UA-Index pro Ministerium

20

90,3 88,0

79,0 78,4 77,3 75,2 72,9 72,1 71,5 71,4 71,4 71,365,8

61,3

74,7

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0

PDF/UA-Index der Ministerien im Jahresvergleich

2017


www.pdfa.org

2016-06-14

Markus Erle axes4

21

90,3 88,0

79,0 78,4 77,3 75,2 72,9 72,1 71,5 71,4 71,4 71,365,8

61,3

74,7

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0


2017

Markus Erle │ axes4 www.axes4.com

93,8

89,085,0

80,482,8

80,0

72,9

78,3 79,1

67,7

74,973,1

69,1

82,679,2

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0


2017 2016


www.pdfa.org

2016-06-14

Markus Erle axes4

4| PDF/UA-Index in 4 Kategorien

24

■ Kategorie 1: =100

■ Kategorie 2: ≥ 95

■ Kategorie 3: < 95 (aber mit Tags)

■ Kategorie 4: Ohne Tags


www.pdfa.org

2016-06-14

Markus Erle axes4

25

0,0

5,0

10,0

15,0

20,0

25,0

30,0

35,0

40,0

45,0

50,0

PDF/UA-Index | Prozentualer Anteil in den 4 Kategorien

100


www.pdfa.org

2016-06-14

Markus Erle axes4

26

44,0

17,9

13,4

9,6

5,6 4,63,1 3,0

1,4 0,5 0,5 0,0 0,0 0,0

7,1

0,0

5,0

10,0

15,0

20,0

25,0

30,0

35,0

40,0

45,0

50,0


100


www.pdfa.org

2016-06-14

Markus Erle axes4

27

0,0

5,0

10,0

15,0

20,0

25,0

30,0

35,0

40,0

45,0

50,0


100 ≥95


www.pdfa.org

2016-06-14

Markus Erle axes4

28

6,28,9

24,9

5,9

1,1 2,3 1,8 1,54,0

0,51,8

0,0 0,0 0,0

4,6

0,0

5,0

10,0

15,0

20,0

25,0

30,0

35,0

40,0

45,0

50,0


100 ≥95


www.pdfa.org

2016-06-14

Markus Erle axes4

29

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0


100 ≥95 <95


www.pdfa.org

2016-06-14

Markus Erle axes4

30

29,5

34,8

45,3

50,9

64,4

47,745,4

59,3

20,3

52,8 54,4

40,6

57,0 55,7

45,2

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0


100 ≥95 <95


www.pdfa.org

2016-06-14

Markus Erle axes4

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0


100 ≥95 <95 ohne Tags


www.pdfa.org

2016-06-14

Markus Erle axes4

20,2

38,4

16,4

33,628,9

45,449,7

36,3

74,3

46,243,3

59,4

43,0 44,3 43,0

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0


100 ≥95 <95 ohne Tags


www.pdfa.org

2016-06-14

Markus Erle axes4

33

85

44

2720

8 6 5 5 4 2 1 0 0 0

207

0

50

100

150

200

250

Anzahl Dokumente mit PDF/UA-Index 100 im Jahresvergleich

2017


www.pdfa.org

2016-06-14

Markus Erle axes4

34

85

44

2720

8 6 5 5 4 2 1 0 0 0

207

0

50

100

150

200

250


2017


www.pdfa.org

2016-06-14

Markus Erle axes4

85

44

2720

8 6 5 5 4 2 1 0 0 0

207

65

3

18 21

2 5 2 6 5 1 3 0 0 0

131

0

50

100

150

200

250


2017 2016

Die Anzahl der Dokumente mit PDF/UA-Index 100 ist um 58% gestiegen

von 131 Dokumenten (2016) auf 207 Dokumente (2017).


www.pdfa.org

2016-06-14

Markus Erle axes4

Was verbirgt sich hinter folgenden „sprechenden“ Dokumenttiteln?

36

5 | Metadaten: Dokumenttitel


www.pdfa.org

2016-06-14

Markus Erle axes4

Dokument

37

Best of Dokumenttitel│ Platz 10


www.pdfa.org

2016-06-14

Markus Erle axes4

Dokument

38



www.pdfa.org

2016-06-14

Markus Erle axes4

0

39



www.pdfa.org

2016-06-14

Markus Erle axes4

0

40



www.pdfa.org

2016-06-14

Markus Erle axes4

untitled

41



www.pdfa.org

2016-06-14

Markus Erle axes4

untitled

42



www.pdfa.org

2016-06-14

Markus Erle axes4

Folie 1

43



www.pdfa.org

2016-06-14

Markus Erle axes4

Folie 1

44



www.pdfa.org

2016-06-14

Markus Erle axes4

Text

45



www.pdfa.org

2016-06-14

Markus Erle axes4

Text

46



www.pdfa.org

2016-06-14

Markus Erle axes4

[Adresse eingeben]

47



www.pdfa.org

2016-06-14

Markus Erle axes4

[Adresse eingeben]

48



www.pdfa.org

2016-06-14

Markus Erle axes4

asdfasdf

49



www.pdfa.org

2016-06-14

Markus Erle axes4

asdfasdf

50



www.pdfa.org

2016-06-14

Markus Erle axes4

Normal.dot

51



www.pdfa.org

2016-06-14

Markus Erle axes4

Normal.dot

52



www.pdfa.org

2016-06-14

Markus Erle axes4

Lorem ipsum dolor sit amet …

53



www.pdfa.org

2016-06-14

Markus Erle axes4

Lorem ipsum dolor sit amet …

54



www.pdfa.org

2016-06-14

Markus Erle axes4

Leeres Blatt

55



www.pdfa.org

2016-06-14

Markus Erle axes4

Leeres Blatt

56



www.pdfa.org

2016-06-14

Markus Erle axes4

5| Metadaten: Erstellungsprogramm

57

99,9

87,1

86,9

61,7

52,2

51,7

0,0 10,0 20,0 30,0 40,0 50,0 60,0 70,0 80,0 90,0 100,0

axesPDF for Word

Microsoft Word

Adobe PDF Maker

Acrobat Distiller

Mac OS X

Nuance PDF Create

Durchschnittlicher PDF/UA-Index pro Erstellungsprogramm

Durchschnittlicher PDF/UA-Index


www.pdfa.org

2016-06-14

Markus Erle axes4

IV | Fazit und Ausblick

■ Zusammenfassung der wichtigsten Ergebnisse und Ausgangsfragen aufgreifen

■ Ausblick: Welche neuen Möglichkeiten eröffnen sich?

■ Interesse an weiteren Ergebnissen?

58


www.pdfa.org

2016-06-14

Markus Erle axes4

Stand der Barrierefreiheit

■ 57% der 2.915 analysierten Dokumente sind PDF mit Tags

■ Immer noch sehr große Unterschiede zwischen den Ministerien

Veränderungen zum Vorjahr?

■ Durchschnittlicher PDF/UA-Index ist gesunken von 79,2 (2016) auf 74,7 (2017)

■ Ziel wäre: >95%

59

1 | Zusammenfassung der Ergebnisse (1)


www.pdfa.org

2016-06-14

Markus Erle axes4

Ist PDF/UA inzwischen stärker verankert?

■ Ja, es werden mehr Dokumente mit PDF/UA-Index 100 erstellt

■ 2016 waren es 131 (4 %), 2017 sind es 207 (7,1 %)

Erstellungsprogramme

■ Durchschnittlicher PDF/UA-Index am Beispiel „PDFs aus Word“:

■ Adobe PDF-Maker: 86,9

■ Word: 87,1

■ axesPDF for Word: 99,9

60



www.pdfa.org

2016-06-14

Markus Erle axes4

Rangliste der Ministerien gemäß durchschnittlichem PDF/UA-Index

1. BMUB: 90,3

2. BMBF: 88,0

3. BMZ: 79,0

4. BMI: 78,4

5. BMWi: 77,3

61



www.pdfa.org

2016-06-14

Markus Erle axes4

■ Motivierendes Ranking von Institutionen, Organisationen und Ländern

■ Fortschritte (oder Rückschritte!) im Bereich PDF/UA sichtbar machen

■ Engagement für Barrierefreiheit und inklusive Gesellschaft wahrnehmbar machen (Vorbildfunktion, Glaubwürdigkeit) und fördern

Übrigens: Auch im nächsten Jahr wird es wieder eine PDF/UA-Studie geben: „Nach dem Spiel ist vor dem Spiel“

62

2 | Ausblick: Außenperspektive


www.pdfa.org

2016-06-14

Markus Erle axes4

Effizientes internes PDF/UA-Monitoring (als wesentlicher Baustein der Qualitätssicherung)

■ Neue Lösung für internes PDF/UA-Monitoring mit leicht verständlichen Berichten und attraktiven Visualisierungen -> Vorstellung auf dem „PDF Accessibility Best Practices“-Tag (Post-Conference am 17.05.)

Ansatzpunkte für Workflow-Optimierungen

■ Sozialministerium.at hat die Ergebnisse 2016 benutzt, um Workflows zu optimieren -> Bericht auf dem „PDF Accessibility Best Practices“-Tag (Post-Conference am 17.05.)

63

2 | Ausblick: Innenperspektive


www.pdfa.org

2016-06-14

Markus Erle axes4

■ Artikel erscheint auf axes4.blog.com

■ Ministerien können auf Anfrage eine Zusammenfassung ihrer Ergebnisse erhalten

64

3 | Interesse an weiteren Ergebnissen?


www.pdfa.org

2016-06-14

Markus Erle axes4

Danke! Fragen?

Kontakt: [email protected]: www.axes4.comTwitter: @axespdf

65

PDF Days Europe 2017

65

Documents

PDF/UA Real Life Check 2017 | Ausgabe 2...2016-06-14 Markus Erle axes4 PDF/UA Real Life Check 2017 | Ausgabe 2 Eine Studie zum Stand der PDF-Barrierefreiheit auf den Internetseiten