Webstreaming-Testlösungen - rbt-nbg.de · PDF file1 GUI-Automation Jonathan Bennett & AutoIt Team AutoIT 3.3.8.1 1-n Screenshot-SW Nico S. Beck Xshot 2.7.0 1 Batch-Skript RBT 1

eine Arbeitsgemeinschaft von ARD und ZDF

90431 Nürnberg - Wallensteinstraße 119 – Telefon 0911-6573-0 - Fax 0911-6573-111 – www.rbt-nbg.de Geschäftsführer: Dipl.-Ing. (FH) Alfred Preissner

Mitglieder der ARGE: Bayerischer Rundfunk – Hessischer Rundfunk – Mitteldeutscher Rundfunk – Radio Bremen - Rundfunk Berlin Brandenburg

Saarländischer Rundfunk – Südwestrundfunk – Westdeutscher Rundfunk – Zweites Deutsches Fernsehen

Webstreaming-Testlösungen der ARGE Rundfunk-Betriebstechnik (RBT)

Stand 02/2013

Aufgrund der stark wachsenden Nachfrage nach multimedialen Webangeboten und der neuen

trimedialen Ausrichtung des Rundfunks haben die Mitglieder der ARGE RBT vielfältigen

Streaming-Testbedarf. Wie beeinflußt die Art der Bereitstellung und Übertragung die

Zuverlässigkeit und Qualität der Angebote? Abhängig ist dies von der Infrastruktur der

jeweiligen Rundfunkanstalt, von der Leistung der beauftragten Provider und dem nicht-

deterministischen Verhalten des Internets. Die Zufriedenheit der Nutzer und Entscheidungen

über Investitionen sind auf der Grundlage von RBT-Messungen in diesem Bereich optimierbar.

In der vorliegenden Studie werden die bekannten Testanforderungen zunächst kategorisiert und

anschließend hierzu jeweils weitgehend erprobte Lösungsansätze vorgestellt.

Kontakt:

Claus-Georg Pleyer (Verfasser), Tel.: 0911-6573-225; Christian Pohle, Tel.: - 194 RBT-Sachgebiet IT, Leitung: Jürgen Wehner, Tel.: -190

Webstreaming-Testlösungen der RBT (Stand: 02/2013)

RBT-Streaming-Testlösungen.docx Seite 2 / 9

1. Anforderungen aus den Rundfunkanstalten

1.1 Verfügbarkeits-Tests

In regelmäßigen Abständen wird überprüft, ob Streams überhaupt abrufbar sind, da es hier in der Vergangenheit wiederholt zu Nutzer-Beschwerden gekommen ist, ohne daß sich diese ausreichen nachvollziehen ließen (s. S. 3).

1.2 Empfangsqualitäts-Check für On-Demand-Streams

Vertiefend geben periodisch die gemessenen Empfangs-Parameter eines abrufbaren Streams Auskunft über die Güte des CDN und die maximal mögliche Qualität der Ausspielung beim Nutzer (s. S. 4).

1.3 Empfangsqualitäts-Monitoring für Live-Streams

Beim Monitoring wird kontinuierlich überprüft, ob ein Stream ausreichend schnell bereitgestellt und so konstant ausgespielt wird, daß keine Ruckler oder Unterbrechungen beim Empfänger auftreten (s. S. 5).

1.4 CDN-Beurteilung/Überwachung

Die CDN-Provider geben kaum Einblick in die von Ihnen eingesetzte Infrastruktur. Um hier mehr Transparenz in Bezug auf das Kosten/Leistungsverhältnis herzustellen, sind die Rundfunk-anstalten auf verteilte Testmessungen angewiesen. Auch können damit mögliche Engpässe im Problemfall schneller lokalisiert und Qualitätsunterschiede zwischen CDN-Anbietern erkannt werden (s. S. 7).

1.5 Geo-Location-Tests

Die Rundfunkanstalten müssen aufgrund gesetzlicher Vorgaben die Verbreitung Ihrer ange-botenen Inhalte auf das Sendegebiet beschränken. Hierzu ist eine stichpunktartige Kontrolle der Nicht-Verfügbarkeit außerhalb dieses Gebietes sinnvoll. Es ist zu überprüfen, ob der Abruf eines Stream außerhalb seines rechtlich vorgeschriebenen Verbreitungsgebietes zu einem Fehler führt und somit nicht möglich ist (s. S. 8).



2. Testlösungen der RBT

2.1 Verfügbarkeits-Tests

Ob ein Stream abrufbar ist, kann die RBT im In- und Ausland für alle Streaming-Arten überprüfen. Da an Standorten mit gemieteten Root-Servern Kosten entstehen, wird ein schrittweiser Ausbau des Überwachungsnetzes beginnend mit Rundfunkstandorten empfohlen. Schon ab zwei verteilten Agenten lassen sich zudem Fehlerquellen eingrenzen (vgl. Kapitel 2.5). Die von der RBT eingesetzten Tools liefern eine numerische oder statistische Übersicht über alle erfolgreich abgerufenen und alle nicht-verfügbaren Streams. Abbildung 1 zeigt darüber hinaus ein grafisches Realisierungsbeispiel. Bei jedem Aufruf des nicht-verfügbaren Streams hat dessen gestrichelte Fehlerkurve den Wert „1“. Beim abrufbaren Streams bleibt die rote Fehlerkurve konstant auf dem Wert „0“.

Abbildung 1: Die rot gestrichelte Kurve zeigt einen Fehler bei Abruf des nichtverfügbaren Streams



2.2 Empfangsqualitäts-Check für On-Demand-Streams

Es wird periodisch überprüft, ob ein Stream auf Abruf ausreichend schnell bereitgestellt und im Gesamten oder für eine definierte Zeitspanne konstant ausgespielt wird. Dazu dienen die in Sekunden gemessenen und in Abbildung 2 und Abbildung 3 dargestellten Größen Start-verzögerung/Ladezeit (gelb), Pufferfüllstand/Ausspielzeit (grün) und Unterbrechungszeit (rot).

Abbildung 2: Messung eines unterbrechungsfreien Streams (Avg. Lag Duration = 0)

Abbildung 3: Messung eines unterbrechenden Streams (Avg. Lag Duration > 0)

Startverzögerung Pufferung keine Unterbrechung

Ladezeit Ausspielzeit Unterbrechung



2.3 Empfangsqualitäts-Monitoring für Live-Streams

In einem Pilotprojekt hat die RBT eine Internetseite erstellt, auf der die Rundfunkanstalt in einem geschützten Zugang überwachte Streams in Echtzeit kontrollieren kann. Diese Seite zeigt die sich jeweils automatisch aktualisierende Ladezeit (gelb), den Pufferfüllstand (grün) und die Ausfallzeit (rot), wie in Abbildung 4 bei einem HTTP-Stream dargestellt. Außerdem sind hier vergangene Meßperioden und ein Fehlerbeispiel verknüpft (vgl. Abbildung 5 u. Abbildung 6).

Abbildung 4: RBT- Internet-Seite für das Monitoring eines Live-Streams ([s]; aktuelle Stunde)

Mögliche Anpassungen sind: - beliebige Zusammenfassung oder Aufteilung von Streams und Standorten in Graphen - Stream-Neuaufruf nach beliebigen Perioden - beliebige Testdauer in einem Graphen (z.B.: 1h, 1d) - statistische Auswertungen über die o.g. Testdauer oder längere Zeiträume - Simulation von beliebigen Browsern, Endgeräten und Anschlußbandbreiten



Abbildung 5: RBT-Internet-Seite für den Zugriff auf archivierte Monitoring-Daten des Streams

Abbildung 6: RBT-Internet-Seite zur Verdeutlichung eines Fehlerbildes



2.4 CDN-Beurteilung/Überwachung

Durch strategische Verteilung von Lastagenten können mögliche Engpässe und Qualitäts-unterschiede bei den CDN-Providern erkannt werden. Über einen Quervergleich zwischen unterschiedlichen Streams, CDNs und Nutzer-Standorten lassen sich die Engpässe und Fehler eingrenzen.

Die folgenden drei Fälle zeigen die mit zwei Testagenten möglichen Auswertungen von nicht- verfügbaren oder fehlerhaften Streams ( ), die von zwei CDN-Providern ausgeliefert werden, und die dadurch mögliche Eingrenzung der Fehlerquelle ( ): Fall A: gleicher Stream über zwei DSL-Provider fehlerhaft → CDN-Provider-Problem 1

Fall B: ein Stream über einen DSL-Provider fehlerhaft → CDN-DSL-Peering/Transit-Problem

Fall C: beide Streams über einen DSL-Provider fehlerhaft → regionales DSL-Provider-Problem

1 DSL = Digital Subscriber Line; CDN = Content Delivery Network; = Stream verfügbar/fehlerfrei



2.5 Geo-Location-Tests

Beispielhaft werden zwei deutsche und zwei internationale HLS- und HDS-Streams jeweils dreimal aus Deutschland und dem Ausland abgerufen. Die Ergebnisse für beide Nutzer-Standorte sind in der Tabelle von Abbildung 7 zusammengefaßt.

Abbildung 7: Fehleranzahl bei dreimaligem Aufruf zweier Streams aus Deutschland und den USA

Bei beiden deutschen Streams sind jeweils 3 von 6 Hits (50%) erwartungsgemäß fehlerhaft (s. rote Kästen). Eine automatische Aufschlüsselung dieser Tabelle nach Standort kann ebenfalls im eingesetzten Tool „NeoLoad“ konfiguriert werden.

Aus der Meßkurve für die Zone „USA West - California“ erkennt man, daß hier die 6 Fehlaufrufe („Errors“) der deutschen Streams auftreten (vgl. Abbildung 8). Beim Aufruf der deutschen Streams steigen die roten Fehlerkurven je dreimal auf den Wert 1, die grünen Fehlerkurven der jeweiligen internationalen Varianten bleiben dagegen auf der Null-Linie.

Abbildung 8: Fehlerverlauf bei dreimaligem Aufruf zweier Streams aus Deutschland u. den USA



3. Anhang

3.1 Verzeichnis der verwendeten Hard- und Software

Anzahl HW/SW Hersteller Bezeichnung(en) SW-Version(en)

1 Webtest-SW Neotys NeoLoad 4.1.1

1 Controller-Rechner Dell Inc. webtest Windows SE 2008 R2

1 Management-Rechner embinet It18 Windows XP SP3

1 Webserver-SW Missimo Melina HFS 2.2f

1 GUI-Automation Jonathan Bennett & AutoIt Team

AutoIT 3.3.8.1

1-n Screenshot-SW Nico S. Beck Xshot 2.7.0

1 Batch-Skript RBT Archivbild.bat

1 Zeitsteuerungs-SW Microsoft Aufgabenplanung 1.0

1 NAT-DSL-Router Funkwerk Bintec3000

3.2 Verzeichnis ergänzender Dokumente

Titel Stand Ansprechpartner

Webtestleistungen der ARGE RBT 02/20013 Claus-Georg Pleyer, Christian Pohle

Documents

Webstreaming-Testlösungen - rbt-nbg.de · PDF file1 GUI-Automation Jonathan Bennett & AutoIt Team AutoIT 3.3.8.1 1-n Screenshot-SW Nico S. Beck Xshot 2.7.0 1 Batch-Skript RBT 1