Upload
goetz-nassau
View
105
Download
0
Embed Size (px)
Citation preview
Oliver Lietz – Mobile Software
Embedded SystemsEmbedded SystemsAusgewählte Themen (ES-M)Ausgewählte Themen (ES-M)
Beuth-Hochschule WS 2010Beuth-Hochschule WS 2010
Oliver LietzOliver LietzDipl.-Ing.Dipl.-Ing.
Digitale VideotechnikDigitale Videotechnik
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
ÜberblickÜberblick
Digitale VideotechnikDigitale Videotechnik
CodecsCodecs
StreamingStreaming
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Virtuelles Video-StudioVirtuelles Video-Studio
Aufzeichnung und Streaming von Live-VideoAufzeichnung und Streaming von Live-Video
KameraKamera PC-Workstation PC-Workstation AndroidAndroidUSB, HDMI, SDIUSB, HDMI, SDI iPhoneiPhone
PC/FlashPC/Flash
ErfassungErfassung Aufzeichnung/VerarbeitungAufzeichnung/Verarbeitung Streaming Streaming (Capture) (Capture) CodierungCodierung Server (IP) PlayoutServer (IP) Playout
Streaming.BoxStreaming.Box
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
ProduktionsstreckeProduktionsstrecke
TechnischTechnisch
Video
Übertragung
Audio
Wiedergabe /Playback
Codierung
Codierung
Aufzeichnung /Speicherung
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Video-Aufzeichnung (Capture)Video-Aufzeichnung (Capture)Eingabe-Gerät (Capture Device): Video/Audio getrenntEingabe-Gerät (Capture Device): Video/Audio getrennt
Codierung (Encoder): Video/Audio getrenntCodierung (Encoder): Video/Audio getrennt
Multiplex: Video/Audio kombiniertMultiplex: Video/Audio kombiniert
Ziel (Datei oder IP-Stream / Socket)Ziel (Datei oder IP-Stream / Socket)
uncompressed uncompressed ↑↑ compressed compressed ↑↑
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Video-WiedergabeVideo-Wiedergabe
Hilfsmittel (Tool): „GraphEdit“ (Microsoft) / „GraphStudio“ (OpenSource)Hilfsmittel (Tool): „GraphEdit“ (Microsoft) / „GraphStudio“ (OpenSource)
Beispiel Beispiel DirectShowDirectShow: „Filter“ über „Pins“ verbunden„Filter“ über „Pins“ verbunden
Datenfluss durch den „Filter-Graphen“Datenfluss durch den „Filter-Graphen“
Datenfluss: Datenfluss:
Datei oder IP-Stream, Splitter, Decoder A/V getrenntDatei oder IP-Stream, Splitter, Decoder A/V getrennt
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Web-Streaming Web-Streaming Adobe Flash Media Live EncoderAdobe Flash Media Live Encoder
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
nanoStream Live Video EncodernanoStream Live Video EncoderLive Encoding/Streaming aus dem BrowserLive Encoding/Streaming aus dem Browser
Aufzeichnung, Encoding, StreamingAufzeichnung, Encoding, Streaming– Webcam oder Profi-KameraWebcam oder Profi-Kamera
Flash-kompatibel (RTMP-Protokoll)Flash-kompatibel (RTMP-Protokoll)
3D-Video (Stereoskopie)3D-Video (Stereoskopie)
Plugin-Basiert fürPlugin-Basiert fürInternet Explorer, Firefox, …Internet Explorer, Firefox, …
3D-Video (Stereoskopie)3D-Video (Stereoskopie)
Javascript-APIJavascript-API
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Live Playback mit FlashLive Playback mit Flash
Encoder spielt auf Encoder spielt auf
Media ServerMedia Server
Player (Flash) holt von Player (Flash) holt von
Media ServerMedia Server
Flash Media ServerFlash Media Server
Wowza Media ServerWowza Media ServerPhoto © Rob WatkinsPhoto © Rob Watkins
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Live Streaming - BrowserbasiertLive Streaming - Browserbasiert
Live EncoderLive Encoder Wowza/Flash Media Server Flash Player Wowza/Flash Media Server Flash Player
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Bild-Erfassung / DigitalisierungBild-Erfassung / Digitalisierung
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Bild-ErfassungBild-ErfassungOptische Abbildung mit Auge / KameraOptische Abbildung mit Auge / Kamera
LichtCCD ChipFilmNetzhaut
3D ObjektLinse(n)
Projektion
2D Abbildung
Film/Video/Auge: Mehrere Einzelbilder pro Sekunde
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Digitale Bilderfassung / AbtastungDigitale Bilderfassung / Abtastung
CCD – Charge Coupled DevicesCCD – Charge Coupled Devices
1969 Boyle/Smith - Nobelpreis 2009 1969 Boyle/Smith - Nobelpreis 2009
Prinzipien: Prinzipien: – Matrix aus HalbleiternMatrix aus Halbleitern– Photoelektrischer EffektPhotoelektrischer Effekt– Endliche AuflösungEndliche Auflösung
(„Megapixel“)(„Megapixel“)
Ähnlich: CMOSÄhnlich: CMOS– Tendenziell billigerTendenziell billiger– mehr Rauschenmehr Rauschen
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
1-Chip-CCD1-Chip-CCD Farbe: unterschiedliche Arten von Filtern/SensorenFarbe: unterschiedliche Arten von Filtern/Sensoren
„ „Bayer-Matrix“Bayer-Matrix“
Nachteil: Verringerung der Auflösung, Interpolation Nachteil: Verringerung der Auflösung, Interpolation (Störungen an scharfen Kanten)(Störungen an scharfen Kanten)
http://en.wikipedia.org/wiki/Bayer_filterhttp://www.matrix-vision.com/info/articles/pdf/art_bayermosaic_de.pdf
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
CCD-TypenCCD-Typen
Interline und Frame TransferInterline und Frame Transfer
http://www.ccd-sensor.de
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
3CCD3CCD Farbe: unterschiedliche Farbfilter über „Dichroitisches Prisma“Farbe: unterschiedliche Farbfilter über „Dichroitisches Prisma“
Nachteil: aufwendige Optik (teuer)Nachteil: aufwendige Optik (teuer)
Einsatz in Professioneller StudiotechnikEinsatz in Professioneller Studiotechnik
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Film / VideoFilm / Video
Film/Video = „Bewegte Bilder“Film/Video = „Bewegte Bilder“
2D+t (Ort+Zeit)2D+t (Ort+Zeit)
BildelementeBildelemente(Picture Elements, Pixels)(Picture Elements, Pixels)
Auflösung (Ort)Auflösung (Ort)z.B.z.B. 720x576 720x576 Pixel, 1920x1080 Pixel, 1920x1080
Auflösung (Zeit): Bildrate (Frame Rate, FPS)Auflösung (Zeit): Bildrate (Frame Rate, FPS)z.B. 24, z.B. 24, 2525, 30 Bilder/Sekunde, 30 Bilder/Sekunde
Format: 16:9, 4:3, …Format: 16:9, 4:3, …
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
TV / HDTVTV / HDTVSDTV: Standard Definition SDTV: Standard Definition – PAL: PAL: 720x576i 25 (Europa)720x576i 25 (Europa)– NTSC: NTSC: 720x480i 30 (USA)720x480i 30 (USA)– Gleiches Format bei DVD und DVBGleiches Format bei DVD und DVB
HDTV: High DefinitionHDTV: High Definition– 1280x720p 50: 1280x720p 50: = „720p“= „720p“– 1920x1080i 25 1920x1080i 25 = „1080i“= „1080i“– 1920x1080p 50 1920x1080p 50 = „1080p“= „1080p“
Mobil:Mobil:– 640x480640x480– 352x288352x288– … … (viele Formate!)(viele Formate!)
Zahlreiche Kamera/Kompressions-/SpeicherformateZahlreiche Kamera/Kompressions-/Speicherformate– MP4, H264, MPEG, WMV, WebM, …MP4, H264, MPEG, WMV, WebM, …
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Video-Bildgrößen (Auflösungen)Video-Bildgrößen (Auflösungen)
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
BildgrößenBildgrößen
Bildgrößen / Pixel abhängig vom Motiv und Bildgrößen / Pixel abhängig vom Motiv und WiedergabegerätWiedergabegerät– Beispiel: 128x100 Pixel, vergrößert auf 800x600Beispiel: 128x100 Pixel, vergrößert auf 800x600
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
BildgrößenBildgrößen
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
PixelPixel
Ortsauflösung x,yOrtsauflösung x,y
Farbauflösung (Bits/Pixel)Farbauflösung (Bits/Pixel)
s/w: 1 Bit/Pixel (an/aus) s/w: 1 Bit/Pixel (an/aus) RGB: 8 Bit/Farbe = 24 Bit/PixelRGB: 8 Bit/Farbe = 24 Bit/Pixel
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Digitales Video: DemosDigitales Video: Demos TV, Kino/DVD, HDTV, Kino/DVD, HD
TV: SportTV: Sport Kino/DVD: Bourne - TrailerKino/DVD: Bourne - Trailer Kino/HD: Piraten der KaribikKino/HD: Piraten der Karibik Podcast/Stream: TagesschauPodcast/Stream: Tagesschau 3D-Video: Avatar3D-Video: Avatar
Demo
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Datenmenge VideoDatenmenge Video
Anzahl Pixel/Bild:Anzahl Pixel/Bild:
Auflösung x * yAuflösung x * y– 720*576 (PAL-TV, ITU 601, Europa)720*576 (PAL-TV, ITU 601, Europa)
Datenmenge je Pixel:Datenmenge je Pixel:– RGB: 3*8=24 Bit = 3 ByteRGB: 3*8=24 Bit = 3 Byte
Datenmenge je Sekunde: Datenmenge je Sekunde: – Bildrate (Frame Rate, FPS)Bildrate (Frame Rate, FPS)
z.B. 24, 25, 30 Bilder/Sekundez.B. 24, 25, 30 Bilder/Sekunde
Beispiele: Beispiele: SDTV: 720 x 576 x 3 x 25 Bytes/Sek. = 30 MB / s = 100 GB / h SDTV: 720 x 576 x 3 x 25 Bytes/Sek. = 30 MB / s = 100 GB / h
HDTV: 1920 x 1080 x 3 x 25 Bytes/Sek. = 150 MB / s = 500 GB / hHDTV: 1920 x 1080 x 3 x 25 Bytes/Sek. = 150 MB / s = 500 GB / h
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Video-KompressionVideo-Kompression
Datenmengen:Datenmengen:– 2K-/HD-Kamera: 2K-/HD-Kamera:
1920x1080 Pixel 1920x1080 Pixel = 2 Mega-Pixel= 2 Mega-Pixel
3 Bytes/Pixel3 Bytes/Pixel
6 MB / Bild6 MB / Bild
6 MB x 25 Bilder/s = 150 MByte / s 6 MB x 25 Bilder/s = 150 MByte / s
Vergleich DSL: 6 Mbit/sVergleich DSL: 6 Mbit/s
Notwendige Kompression: 1:200 Notwendige Kompression: 1:200
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Videocodierung/Komprimierung – wozu?Videocodierung/Komprimierung – wozu?
SpeicherungSpeicherung– DVD, BluerayDVD, Blueray– Kamera (Flash, Memorystick, Band, …)Kamera (Flash, Memorystick, Band, …)– FestplatteFestplatte– Mobiltelefon (UMTS, 3GPP), PDAMobiltelefon (UMTS, 3GPP), PDA
ÜbertragungÜbertragung– Digital-TV (DVB)Digital-TV (DVB)– Internet / Video on DemandInternet / Video on Demand– Mobiltelefon (UMTS, 3GPP)Mobiltelefon (UMTS, 3GPP)– Digital Cinema (HDTV, 2K, 4K)Digital Cinema (HDTV, 2K, 4K)
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Demos BildkompressionDemos Bildkompression
Komprimierungs-BeispieleKomprimierungs-Beispiele 1:40 … 1:7001:40 … 1:700
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
JPEG BeispieleJPEG Beispiele
211 kbyte, Faktor 3,64Original 768 kbyte
512x512 Pixel, 24 bit Farbe
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
JPEG BeispieleJPEG Beispiele
22,8 kbyte, Faktor 16,1Original 768 kbyte
512x512 Pixel, 24 bit Farbe
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
JPEG BeispieleJPEG Beispiele
7,36 kbyte, Faktor 104Original 768 kbyte
512x512 Pixel, 24 bit Farbe
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
JPEG BeispieleJPEG Beispiele
2,87 kbyte, Faktor 268Original 768 kbyte
512x512 Pixel, 24 bit Farbe
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Datenrate / BitrateDatenrate / Bitrate
Datenrate/Bitrate: Datenmenge pro Zeit, Bits/sDatenrate/Bitrate: Datenmenge pro Zeit, Bits/s
Datenrate unkomprimiert: aus Orts/ZeitauflösungDatenrate unkomprimiert: aus Orts/Zeitauflösung– PAL 720x576: PAL 720x576: Datenrate ca. 30 MB/s = 240 MBit/sDatenrate ca. 30 MB/s = 240 MBit/s– HDTV 1920x1080: HDTV 1920x1080: Datenrate ca. 150 MB/s = 1,2 GBit/sDatenrate ca. 150 MB/s = 1,2 GBit/s– DSL: 6 MBit/sDSL: 6 MBit/s– Kompression notwendig: 1:40 … 1:200Kompression notwendig: 1:40 … 1:200
Bitraten in der Praxis für komprimierte Videos: Bitraten in der Praxis für komprimierte Videos: – MPEG-2 / DVD: MPEG-2 / DVD: 4…8 MBit/s4…8 MBit/s– H.264 Mobil: H.264 Mobil: unter 1 MBit/sunter 1 MBit/s– H.264 HDTV: H.264 HDTV: 10…20 Mbit/s10…20 Mbit/s
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Tagesschau - KompressionsbeispielTagesschau - Kompressionsbeispiel
„„Tagesschau in 100s“Tagesschau in 100s“– Spielt das Video flüssig über UMTS-Leitung mit 256 kBit/s ?Spielt das Video flüssig über UMTS-Leitung mit 256 kBit/s ?
Altes Format Altes Format – 320x240, 25 fps320x240, 25 fps– Dateigröße 2,5 MBDateigröße 2,5 MB
2,5 MB = 20 MBit2,5 MB = 20 MBitBitrate = 20 MBit / 100s = 200 kBit/sBitrate = 20 MBit / 100s = 200 kBit/s
Neues Format Neues Format – 480x272, 25 fps480x272, 25 fps– Dateigröße 3,8 MBDateigröße 3,8 MB
3,8 MB = 30 MBit3,8 MB = 30 MBitBitrate = 30 MBit / 100s = 300 kBit/sBitrate = 30 MBit / 100s = 300 kBit/s
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
AufzeichnungsformateAufzeichnungsformate
Analoge KamerasAnaloge Kameras– Veraltet - aber viele analoge Schnittstellen!Veraltet - aber viele analoge Schnittstellen!
Digitale KamerasDigitale Kameras– DV, HDV: Consumer: Firewire-Kabel / IEEE1394DV, HDV: Consumer: Firewire-Kabel / IEEE1394– Neuere Consumer-Kameras mit HDMINeuere Consumer-Kameras mit HDMI– IMX, HDCAM, XDCAM: Profis: SDI-KabelIMX, HDCAM, XDCAM: Profis: SDI-Kabel
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Kompression bei der AufzeichnungKompression bei der Aufzeichnung
Digitale Videokameras führen in der Regel eine Digitale Videokameras führen in der Regel eine Kompression durchKompression durch
Je nach QualitätJe nach Qualität– niedrig komprimiert – hohe Bitrate – hohe Qualitätniedrig komprimiert – hohe Bitrate – hohe Qualität– hoch komprimiert – niedrige Bitrate – niedrige Qualitäthoch komprimiert – niedrige Bitrate – niedrige Qualität
– DV, HDV: 25 MBit/sDV, HDV: 25 MBit/s– XDCAM: 50-100 MBit/sXDCAM: 50-100 MBit/s
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
Typische DatenratenTypische Datenraten
DV: (Firewire IEEE 1394): 400 MBit/sDV: (Firewire IEEE 1394): 400 MBit/sUSB 2.0: USB 2.0: 480 MBit/s (USB 3.0: 5 GBit/s)480 MBit/s (USB 3.0: 5 GBit/s)WLAN: WLAN: 100 MBit/s100 MBit/sDVB-TV: DVB-TV: 5 MBit/s 5 MBit/sUMTS: UMTS: 1 MBit/s 1 MBit/s
Digitales Studio: SDI (Serial Digital Interface)Digitales Studio: SDI (Serial Digital Interface)– 1.5 GBit/s -> „uncompressed“ möglich1.5 GBit/s -> „uncompressed“ möglich
Passt unkomprimiertes HD über USB oder Firewire?Passt unkomprimiertes HD über USB oder Firewire?– Antwort: Nein! -> ja, aber mit KompressionAntwort: Nein! -> ja, aber mit Kompression– (150 MB/s = 1,2 GBit/s)(150 MB/s = 1,2 GBit/s)
Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz
VideokonfigurationVideokonfiguration
Digitales Video: Pixelgröße, FramerateDigitales Video: Pixelgröße, Framerate
TV: fest SD 720x576, HD 1920x1080TV: fest SD 720x576, HD 1920x1080
DVD / DVB: SD 720x576, 5 MBit/sDVD / DVB: SD 720x576, 5 MBit/s
Bluray (HD): 1920x1080, 40 MBit/sBluray (HD): 1920x1080, 40 MBit/s
Internet: kein Standard, frei wählbarInternet: kein Standard, frei wählbar
320x240, 640x480, 1280x720, ….320x240, 640x480, 1280x720, ….
Bitraten 200 … 2000 kBit/sBitraten 200 … 2000 kBit/s