eine Arbeitsgemeinschaft von ARD und ZDF
90431 Nürnberg - Wallensteinstraße 119 – Telefon 0911-6573-0 - Fax 0911-6573-111 – www.rbt-nbg.de Geschäftsführer: Dipl.-Ing. (FH) Alfred Preissner
Mitglieder der ARGE: Bayerischer Rundfunk – Hessischer Rundfunk – Mitteldeutscher Rundfunk – Radio Bremen - Rundfunk Berlin Brandenburg
Saarländischer Rundfunk – Südwestrundfunk – Westdeutscher Rundfunk – Zweites Deutsches Fernsehen
Webstreaming-Testlösungen der ARGE Rundfunk-Betriebstechnik (RBT)
Stand 02/2013
Aufgrund der stark wachsenden Nachfrage nach multimedialen Webangeboten und der neuen
trimedialen Ausrichtung des Rundfunks haben die Mitglieder der ARGE RBT vielfältigen
Streaming-Testbedarf. Wie beeinflußt die Art der Bereitstellung und Übertragung die
Zuverlässigkeit und Qualität der Angebote? Abhängig ist dies von der Infrastruktur der
jeweiligen Rundfunkanstalt, von der Leistung der beauftragten Provider und dem nicht-
deterministischen Verhalten des Internets. Die Zufriedenheit der Nutzer und Entscheidungen
über Investitionen sind auf der Grundlage von RBT-Messungen in diesem Bereich optimierbar.
In der vorliegenden Studie werden die bekannten Testanforderungen zunächst kategorisiert und
anschließend hierzu jeweils weitgehend erprobte Lösungsansätze vorgestellt.
Kontakt:
Claus-Georg Pleyer (Verfasser), Tel.: 0911-6573-225; Christian Pohle, Tel.: - 194 RBT-Sachgebiet IT, Leitung: Jürgen Wehner, Tel.: -190
Webstreaming-Testlösungen der RBT (Stand: 02/2013)
RBT-Streaming-Testlösungen.docx Seite 2 / 9
1. Anforderungen aus den Rundfunkanstalten
1.1 Verfügbarkeits-Tests
In regelmäßigen Abständen wird überprüft, ob Streams überhaupt abrufbar sind, da es hier in der Vergangenheit wiederholt zu Nutzer-Beschwerden gekommen ist, ohne daß sich diese ausreichen nachvollziehen ließen (s. S. 3).
1.2 Empfangsqualitäts-Check für On-Demand-Streams
Vertiefend geben periodisch die gemessenen Empfangs-Parameter eines abrufbaren Streams Auskunft über die Güte des CDN und die maximal mögliche Qualität der Ausspielung beim Nutzer (s. S. 4).
1.3 Empfangsqualitäts-Monitoring für Live-Streams
Beim Monitoring wird kontinuierlich überprüft, ob ein Stream ausreichend schnell bereitgestellt und so konstant ausgespielt wird, daß keine Ruckler oder Unterbrechungen beim Empfänger auftreten (s. S. 5).
1.4 CDN-Beurteilung/Überwachung
Die CDN-Provider geben kaum Einblick in die von Ihnen eingesetzte Infrastruktur. Um hier mehr Transparenz in Bezug auf das Kosten/Leistungsverhältnis herzustellen, sind die Rundfunk-anstalten auf verteilte Testmessungen angewiesen. Auch können damit mögliche Engpässe im Problemfall schneller lokalisiert und Qualitätsunterschiede zwischen CDN-Anbietern erkannt werden (s. S. 7).
1.5 Geo-Location-Tests
Die Rundfunkanstalten müssen aufgrund gesetzlicher Vorgaben die Verbreitung Ihrer ange-botenen Inhalte auf das Sendegebiet beschränken. Hierzu ist eine stichpunktartige Kontrolle der Nicht-Verfügbarkeit außerhalb dieses Gebietes sinnvoll. Es ist zu überprüfen, ob der Abruf eines Stream außerhalb seines rechtlich vorgeschriebenen Verbreitungsgebietes zu einem Fehler führt und somit nicht möglich ist (s. S. 8).
Webstreaming-Testlösungen der RBT (Stand: 02/2013)
RBT-Streaming-Testlösungen.docx Seite 3 / 9
2. Testlösungen der RBT
2.1 Verfügbarkeits-Tests
Ob ein Stream abrufbar ist, kann die RBT im In- und Ausland für alle Streaming-Arten überprüfen. Da an Standorten mit gemieteten Root-Servern Kosten entstehen, wird ein schrittweiser Ausbau des Überwachungsnetzes beginnend mit Rundfunkstandorten empfohlen. Schon ab zwei verteilten Agenten lassen sich zudem Fehlerquellen eingrenzen (vgl. Kapitel 2.5). Die von der RBT eingesetzten Tools liefern eine numerische oder statistische Übersicht über alle erfolgreich abgerufenen und alle nicht-verfügbaren Streams. Abbildung 1 zeigt darüber hinaus ein grafisches Realisierungsbeispiel. Bei jedem Aufruf des nicht-verfügbaren Streams hat dessen gestrichelte Fehlerkurve den Wert „1“. Beim abrufbaren Streams bleibt die rote Fehlerkurve konstant auf dem Wert „0“.
Abbildung 1: Die rot gestrichelte Kurve zeigt einen Fehler bei Abruf des nichtverfügbaren Streams
Webstreaming-Testlösungen der RBT (Stand: 02/2013)
RBT-Streaming-Testlösungen.docx Seite 4 / 9
2.2 Empfangsqualitäts-Check für On-Demand-Streams
Es wird periodisch überprüft, ob ein Stream auf Abruf ausreichend schnell bereitgestellt und im Gesamten oder für eine definierte Zeitspanne konstant ausgespielt wird. Dazu dienen die in Sekunden gemessenen und in Abbildung 2 und Abbildung 3 dargestellten Größen Start-verzögerung/Ladezeit (gelb), Pufferfüllstand/Ausspielzeit (grün) und Unterbrechungszeit (rot).
Abbildung 2: Messung eines unterbrechungsfreien Streams (Avg. Lag Duration = 0)
Abbildung 3: Messung eines unterbrechenden Streams (Avg. Lag Duration > 0)
Startverzögerung Pufferung keine Unterbrechung
Ladezeit Ausspielzeit Unterbrechung
Webstreaming-Testlösungen der RBT (Stand: 02/2013)
RBT-Streaming-Testlösungen.docx Seite 5 / 9
2.3 Empfangsqualitäts-Monitoring für Live-Streams
In einem Pilotprojekt hat die RBT eine Internetseite erstellt, auf der die Rundfunkanstalt in einem geschützten Zugang überwachte Streams in Echtzeit kontrollieren kann. Diese Seite zeigt die sich jeweils automatisch aktualisierende Ladezeit (gelb), den Pufferfüllstand (grün) und die Ausfallzeit (rot), wie in Abbildung 4 bei einem HTTP-Stream dargestellt. Außerdem sind hier vergangene Meßperioden und ein Fehlerbeispiel verknüpft (vgl. Abbildung 5 u. Abbildung 6).
Abbildung 4: RBT- Internet-Seite für das Monitoring eines Live-Streams ([s]; aktuelle Stunde)
Mögliche Anpassungen sind: - beliebige Zusammenfassung oder Aufteilung von Streams und Standorten in Graphen - Stream-Neuaufruf nach beliebigen Perioden - beliebige Testdauer in einem Graphen (z.B.: 1h, 1d) - statistische Auswertungen über die o.g. Testdauer oder längere Zeiträume - Simulation von beliebigen Browsern, Endgeräten und Anschlußbandbreiten
Webstreaming-Testlösungen der RBT (Stand: 02/2013)
RBT-Streaming-Testlösungen.docx Seite 6 / 9
Abbildung 5: RBT-Internet-Seite für den Zugriff auf archivierte Monitoring-Daten des Streams
Abbildung 6: RBT-Internet-Seite zur Verdeutlichung eines Fehlerbildes
Webstreaming-Testlösungen der RBT (Stand: 02/2013)
RBT-Streaming-Testlösungen.docx Seite 7 / 9
2.4 CDN-Beurteilung/Überwachung
Durch strategische Verteilung von Lastagenten können mögliche Engpässe und Qualitäts-unterschiede bei den CDN-Providern erkannt werden. Über einen Quervergleich zwischen unterschiedlichen Streams, CDNs und Nutzer-Standorten lassen sich die Engpässe und Fehler eingrenzen.
Die folgenden drei Fälle zeigen die mit zwei Testagenten möglichen Auswertungen von nicht- verfügbaren oder fehlerhaften Streams ( ), die von zwei CDN-Providern ausgeliefert werden, und die dadurch mögliche Eingrenzung der Fehlerquelle ( ): Fall A: gleicher Stream über zwei DSL-Provider fehlerhaft → CDN-Provider-Problem 1
Fall B: ein Stream über einen DSL-Provider fehlerhaft → CDN-DSL-Peering/Transit-Problem
Fall C: beide Streams über einen DSL-Provider fehlerhaft → regionales DSL-Provider-Problem
1 DSL = Digital Subscriber Line; CDN = Content Delivery Network; = Stream verfügbar/fehlerfrei
Webstreaming-Testlösungen der RBT (Stand: 02/2013)
RBT-Streaming-Testlösungen.docx Seite 8 / 9
2.5 Geo-Location-Tests
Beispielhaft werden zwei deutsche und zwei internationale HLS- und HDS-Streams jeweils dreimal aus Deutschland und dem Ausland abgerufen. Die Ergebnisse für beide Nutzer-Standorte sind in der Tabelle von Abbildung 7 zusammengefaßt.
Abbildung 7: Fehleranzahl bei dreimaligem Aufruf zweier Streams aus Deutschland und den USA
Bei beiden deutschen Streams sind jeweils 3 von 6 Hits (50%) erwartungsgemäß fehlerhaft (s. rote Kästen). Eine automatische Aufschlüsselung dieser Tabelle nach Standort kann ebenfalls im eingesetzten Tool „NeoLoad“ konfiguriert werden.
Aus der Meßkurve für die Zone „USA West - California“ erkennt man, daß hier die 6 Fehlaufrufe („Errors“) der deutschen Streams auftreten (vgl. Abbildung 8). Beim Aufruf der deutschen Streams steigen die roten Fehlerkurven je dreimal auf den Wert 1, die grünen Fehlerkurven der jeweiligen internationalen Varianten bleiben dagegen auf der Null-Linie.
Abbildung 8: Fehlerverlauf bei dreimaligem Aufruf zweier Streams aus Deutschland u. den USA
Webstreaming-Testlösungen der RBT (Stand: 02/2013)
RBT-Streaming-Testlösungen.docx Seite 9 / 9
3. Anhang
3.1 Verzeichnis der verwendeten Hard- und Software
Anzahl HW/SW Hersteller Bezeichnung(en) SW-Version(en)
1 Webtest-SW Neotys NeoLoad 4.1.1
1 Controller-Rechner Dell Inc. webtest Windows SE 2008 R2
1 Management-Rechner embinet It18 Windows XP SP3
1 Webserver-SW Missimo Melina HFS 2.2f
1 GUI-Automation Jonathan Bennett & AutoIt Team
AutoIT 3.3.8.1
1-n Screenshot-SW Nico S. Beck Xshot 2.7.0
1 Batch-Skript RBT Archivbild.bat
1 Zeitsteuerungs-SW Microsoft Aufgabenplanung 1.0
1 NAT-DSL-Router Funkwerk Bintec3000
3.2 Verzeichnis ergänzender Dokumente
Titel Stand Ansprechpartner
Webtestleistungen der ARGE RBT 02/20013 Claus-Georg Pleyer, Christian Pohle