Michael Diederich 10. Oktober 2007 [email protected] Analyse Media Streaming

Michael Diederich10. Oktober 2007www.heureka.com

[email protected]

Analyse Media Streaming

Analyse Media Streaming10. Oktober 2007

Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Übersicht

• heureka e-Business• Reporting

– Was ist Reporting, wie funktioniert Reporting

• Logs– Beispiel

• Zusammenfassung


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

heureka

web controlling

system management

streaming media

development


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Geschäftsbereich Streaming Media

• Partnerschaften– Infrastruktur

• RealNetworks

• Adobe (Flash Media Server)

• Viewcast (Osprey)

– Autorenwerkzeuge• Accordent

• IMS

• sonicfoundry (Mediasite)

• TechSmith (Camtasia Studio)


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

ActiveStart Trainings

• Ziele– Effizientere Programmnutzung– Initiale / optimierte Konfiguration

• Findet beim Kunden Vor-Ort statt• Deutschsprachige Unterlagen


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Was ist Reporting?

• Berichtswesen– Objektiv, vertraulich, einheitliches Glossar– Zeitlicher Rahmen– Zielgruppe (Techniker vs. Marketing)– Bezug: Vergangenheit

• Umfang– Wichtige Kennzahlen identifizieren– Weniger ist mehr

• Kreislauf– Analyse– Veränderung– Messung / Überprüfung– Veränderung…


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Wie funktioniert Reporting?

• Auswerten von Rohdaten– Zusammenfassen zu Tagen, Besuchern, Veranstaltungen..– Besucher: Einmalige, Wiederkehrende– Besuch: Sitzung eines Besuchers– Mathematische Auswertung: Anzahl Besuche pro Besucher

• Darstellung der verarbeiteten Daten in Templates– Dashboards– Drilldowns– Diagramme– Tabellen


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Was benötigt Reporting?

• Web Analyse– Cookies, transparente GIFs– Logfile Analyse– (Toolbars)

• Media Streaming– Cookies = Player GUIDs– Logfiles– JavaScript in Playern / SMIL

• Know How– Messen von Kennzahlen– Auswerten / Interpretieren– Regelmäßigkeit / Weiterverwendung


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Aufbau von Logs (I)Beispiel Windows Streaming Server Access Log

#Software: Windows Media Services #Version: 4.1 #Date: 2000-11-30 04:21:09 #Fields: c-ip date time c-dns cs-uri-stem c-starttime x-duration c-

rate c-status c-playerid c-playerversion c-playerlanguage cs(User-Agent)cs(Referer) c-hostexe c-hostexever c-os c-osversion c-cpu filelengthfilesize avgbandwidth protocol transport audiocodec videocodechannelURL sc-bytes c-bytes s-pkts-sent c-pkts-received c-pkts-

lost-clientc-pkts-lost-net c-pkts-lost-cont-net c-resendreqs c-pkts-

recovered-ECC pkts-recovered-resent c-buffercount c-totalbuffertime c-quality s-ip

s-dns totalclients s-cpu-util


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Aufbau von Logs (II)Beispiel RealNetworks Helix-Server

• Unterschiedliches Logformat, verschiedene Arten von Logfiles– Basic Logging

• Ähnlich wie Windows Media Log• Sieben verschiedene Styles• Standard: Style5

– Advanced Logging• Dateien / Konsole• Systemlog (Unix)• Event Log (Windows)


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Aufbau von Logs: Basic Logging (I)

• Styles (Auszüge)– 0: IP, GET, Status Code, Bytes Send, Client Info +

[client_stats_result]– 1: zzgl. File Size, Connected Time, Resends– 2: zzgl. Client ID / GUID– 3: zzgl. Start Time, Server Address– 4: zzgl. Average Bitrate, Number of Packets sent– 5: Style2 zzgl. Presentation ID– 6: Alle verfügbaren Felder


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Aufbau von Logs: Basic Logging (II)

• [client_stats_result]– Vier Typen, Unterstützung je nach Playerversion– RM: Nur Audio, viele nicht WM Player– 1: received, out_of_order, missing, early, late, codec– 2: bandwidth, highest, lowest, average, requested,

received, late, rebuffering, transport, startup, codec– 3: Nicht Live; Semikolon getrennte Werte inkl. Pause,

Resume, Stop..– 4: RealVideo, enthält Informationen von 1+2 +

Buffering + Latency,


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Aufbau von Logs: Advanced Logging• Template Typen

– Interval (Alle x Minuten)

– Watch (Überwachung für Fehlerzustände)

– Client Stats (Jede Minute oder wenn ein Player die Verbindung beendet)

– Session (Auch für Encoder)

• Ausgabe– Konsole (Standard Error & Standard Out)

– Datei (Log Rolling)

– Unix Pipe / Win NT Event Log

Server Stats (04-Sep-07 14:23:16) Uptime: 0 days, 02:49:55 Players: 3 (New Players: 0, 0.00/sec, Players Leaving: 0,

0.00/sec) Players by Protocol: 66% RTSP, 0% MMS, 33% HTTP (0% Cloaked) Players by Transport: 20% TCP, 80% UDP, 0% MCast…


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Logs aufbereiten• Müssen Logeinträge bearbeitet werden?

– URL Replace

– Query Parameter

• Müssen Logeinträge gefiltert werden?– 141.35.20.62 und 141.35.20.75 ausblenden (Meta-Daten)

– /admin nicht auswerten

– Suchmaschinen, Robots usw.

• Müssen weitere Informationen aufgenommen werden?– CustomReport: Ersetzen von eindeutigen IDs durch Text


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Auswertung• Gruppierung in Content Groups

– Fachbereiche

– Semester

– Besondere Events

• Überprüfung– Medizin 1. Semester

• Angemeldete Studenten: 100

• Besucher pro Woche: 40– Informatik 3. Semester

• Angemeldete Studenten: 50

• Besucher pro Woche: 40


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Zusammenfassung

• Auswertung der Uni Jena Logfiles– Zeitraum 1. September – 30. September 2007

– Nur Basic Logs, keine Error Logs

– Filter: 2 IPs (Abruf Meta-Daten, 190.000 Hits)

• Metriken– Organisationen (GeoTrends)

– Verzeichnisse

– Dateiformate

– Clips


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Metriken: Organisationen

Organization Visits % Visits Hits

Rechenzentrum der Universitaet Jena 256 5,60% 1.022

Fachhochschule Jena 27 0,59% 30

Universitaet Duisburg-Essen 12 0,26% 26

University of Kristianstad 10 0,22% 44

University of Leipzig 9 0,20% 15

LAN University of Vienna 8 0,18% 11

Universitaet Osnabrueck; Rechenzentrum 7 0,15% 17

Technische Universitaet Ilmenau; Rechenzentrum 7 0,15% 38

Massey University 6 0,13% 21

Hochschule Fulda - University of Applied Sciences 5 0,11% 10

Northern Illinois University 5 0,11% 21

Universitaet Erfurt 5 0,11% 7

Universitaet Muenster 5 0,11% 8

National Institutes of Health 4 0,09% 9

Fachhochschule Kaiserslautern 3 0,07% 165

Hochschule fuer Architektur und Bauwesen Weimar 3 0,07% 10

University Erlangen Nuremberg 3 0,07% 18

University of Illinois at Urbana Champaign 3 0,07% 3

Gesamtergebnis 378 8,27% 1.475


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Metriken: Verzeichnisse (I)


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Metriken: Verzeichnisse (II)

Path To Directory Visits Hits Kbytes Transferred

http://mmz-srv4.rz.uni-jena.de/DBT 3.125 13.896 112.750.994

http://mmz-srv4.rz.uni-jena.de/ramgen 1.307 2.025 148

http://mmz-srv4.rz.uni-jena.de/CampusTV 90 353 949.934

http://mmz-srv4.rz.uni-jena.de/broadcast 48 72 1.453.671

http://mmz-srv4.rz.uni-jena.de/biomag 44 215 1.207.882

http://mmz-srv4.rz.uni-jena.de/metheval 42 74 3.931.285

http://mmz-srv4.rz.uni-jena.de/MMZ 37 210 1.268.143

http://mmz-srv4.rz.uni-jena.de/clinic 30 138 87.054

http://mmz-srv4.rz.uni-jena.de/sierek 3 9 12.658

http://mmz-srv4.rz.uni-jena.de/bolten 2 7 6.612

http://mmz-srv4.rz.uni-jena.de/devpsy 2 2 14.351

http://mmz-srv4.rz.uni-jena.de/BP2 1 1 143.567

http://mmz-srv4.rz.uni-jena.de/slawistik 1 9 14.210

Gesamtergebnis 4.782 17.160 121.843.028


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Metriken: Dateiformate


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Metriken: Clips (I)


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Metriken: Clips (II)

URL

Visits2.5

01

Plays 4.07

3http://mmz-srv4.rz.uni-jena.de/DBT/43/44/070910-165810-376-8884_12379.wmv 363 650http://mmz-srv4.rz.uni-jena.de/DBT/81/91/070906-163155-593-8859_12354.wmv 176 296http://mmz-srv4.rz.uni-jena.de/DBT/85/25/070905-162755-290-8850_12339.wmv 80 124http://mmz-srv4.rz.uni-jena.de/ramgen/metheval/SMABS/22072004/SMABS2004_Workshop_Vermunt.rm 75 96http://mmz-srv4.rz.uni-jena.de/DBT/98/23/070903-165039-223-8832_12321.wmv 55 100http://mmz-srv4.rz.uni-jena.de/ramgen/metheval/SMABS/22072004/SMABS2004_Workshop_Muthen_22_1.rm 53 71http://mmz-srv4.rz.uni-jena.de/DBT/68/53/050311-163331-741-2736_4335.wmv 48 85http://mmz-srv4.rz.uni-jena.de/ramgen/CampusTV/Sprachenzentrum.rm 45 59http://mmz-srv4.rz.uni-jena.de/ramgen/CampusTV/Juni_04/CTV_040608_SIS_Golf.rm 40 46http://mmz-srv4.rz.uni-jena.de/DBT/63/60/041222-193554-233-2443_3756.rm 38 53http://mmz-srv4.rz.uni-jena.de/ramgen/CampusTV/Nov_04/CTV_041102_SiS_Parkbank.rm 37 38http://mmz-srv4.rz.uni-jena.de/broadcast/cr/campusradio.ra 32 32http://mmz-srv4.rz.uni-jena.de/ramgen/broadcast/cr/campusradio.ra 32 35


Übersicht

heureka

Reporting

Logs

Zusammen- fassung

Metriken: Clips (III)

Clips Kbyte übertragen % Kbyte übertragen

http://mmz-srv4.rz.uni-jen...BS2004_Workshop_Vermunt.rm 2.766.935 3,94%

http://mmz-srv4.rz.uni-jen...26-130947-430-2988_4757.rm 1.934.674 2,75%


http://mmz-srv4.rz.uni-jen...-165810-376-8884_12379.wmv 1.477.771 2,10%



http://mmz-srv4.rz.uni-jen...roadcast/cr/campusradio.ra 1.371.204 1,95%

Clips

Gesamtzah

l der Aktionen

% Gesamtzahl

der Aktionen

Anfrage

n

Durchschnittlich

e Anzahl von Aktionen

http://mmz-srv4.rz.uni-jen...08-180931-546-2473_4062.rm

90 13,37% 20 5

http://mmz-srv4.rz.uni-jen...02-072033-803-3011_4788.rm 38 5,65% 2 19



Documents

Michael Diederich 10. Oktober 2007 [email protected] Analyse Media Streaming