Embed Size (px)
Citation preview
Multimedia-Praktikum
Oliver Vornberger
Fachbereich Mathematik/InformatikUniversitat Osnabruck
49069 [email protected]
In dieser Veranstaltung werden die grundlegenden Techniken zur Digitalisierung, Kom-primierung und Manipulation von audiovisuellen Medien behandelt. Darauf aufbauendwerden Web-Publishing-Konzepte vorgestellt, mit denen diese Medien auf Webseitenveroffentlicht werden konnen.
Die zum Betrachten der multimedialen Effekte erforderliche Software gibt es bei denjeweiligen Herstellern und auch im Plugin-Verzeichnis der HTML-Version.
FlashPix http://www.mgisoft.comFlash http://www.macromedia.comMidi http://www.liveupdate.comRealVideo http://www.real.comQuicktime http://www.apple.comVRML http://www.cai.com/cosmoPDF http://www.adobe.com
Downloadadressen der Hersteller
1 Zielsetzung
In dieser Veranstaltung sollen die Grundkenntnisse zu folgenden drei Bereichen vermittelt werden:
Digitalisierung und Komprimierung von audiovisuellen Medien
• Text
• Pixelgrafik
• 2D-Vektorgrafik
• 3D-Vektorgrafik
• Audio
• Video
Bearbeitung der Medien mit Software-Werkzeugen
• Adobe Photoshop (Pixeleditor)
• Macromedia Flash (2D-Vektorgrafik)
• Micrografx Simply 3D (3D-Vektorgrafik)
• Creative Wavestudio (Audiobearbeitung)
• Adobe Premiere (Videoschnitt)
• RealNetworks Realproducer (Streaming-Media-Konverter)
Publizieren der Medien im Internet
• Web-Server
• Web-Browser
• Hypertext Transfer Protokoll
• Hypertext Markup Language
2
2 Internet
2.1 Geschichte
Das Internet ist ein weltweiter Zusammenschluß von Computernetzen:
• 100 Lander sind beteiligt.
• 100.000 Netzwerke sind miteinander verbunden.
• 100.000.000 Nutzer wurden fur 1998 geschatzt.
• 100 neue Nutzer kommen pro Minute hinzu.
Der Ursprung liegt in einem Ende der 60-er Jahre von derAdvanced Research Projects Agencygeforderten Forschungsnetz des US-Verteidigungsministeriums. Ziel war es,nach einem Atomschlagdie Kommunikationsfahigkeit zwischen den amerikanischen Regierungsbehorden aufrechtzuhalten.Daraus entstand dasARPANET, ein Netzwerk mit autonomen Knoten, Paketvermittlungen, Fehlerto-leranz und alternativenUbertragungswegen.
Vernetzungsstruktur
2.2 Internetdienste
Unter Verwendung vonTCP/IP (Transmission Control Protocol /Internet Protocol)stehen auf den imInternet beteiligten Hosts verschiedene Dienste zur Verfugung, mit denen Klienten vom Server Datenabrufen konnen. Zur eindeutigen Kennzeichnung verwendet man einenUniform Resource Locator(URL)mit folgendem Aufbau:
<Protokoll>://<Computername>:<Port>/<Verzeichnis>/<Dokument> .
Dienst Zweck Beispiel-URLEMAIL Nachricht verschicken mailto:[email protected] mit Newsgroup diskutieren news://news.rrzn.uni-hannover.deFTP Dateien transferieren ftp://ftp.rz.uni-osnabrueck.deTELNET mit Rechner verbinden telnet://draco.informatik.uni-osnabrueck.deHTTP durch Hypertext navigieren http://www-lehre.inf.uos.de/mmii/seite.html
Internetdienste
3
2.3 HTTP
Neben den rein textbasierten Protokollenemail, news, ftpund telnetavancierte schließlich zum po-pularsten Dienst dasHypertext Transfer Protokoll (HTTP). Es wurde 1989 amCERN - European La-boratory for particle physicsentwickelt und ist ein zustandsloses, verbindungsorientiertes Protokollfur ein verteiltes Hypermedia-Informationssystem basierend auf demClient/Server-Prinzip.
Nach Kontaktaufnahme mit dem Server verlangt der Klient mit der MethodeGETeine bestimmteSeite und teilt gleichzeitig mittelsACCEPTmit, welche Dateiformate er bereit ist, anzunehmen. DerInhalt der Seite wird mit derHypertext Markup Language (HTML)formuliert.
2.4 HTML
Eine HTML-Seite besteht aus Content und Formatierungsanweisungen. Der Content besteht aus Textund Verweisen auf Dateien mit multimedialen Komponenten wie Bild-, Audio- und Videodateien. DieFormatierungsanweisungen sind in der Hypertext Markup Language formuliert.
<HTML><HEAD>
<TITLE>Beispiel fr eine einfache HTML-Seite</TITLE></HEAD>
<BODY BGCOLOR="silver"><H1>Dies ist die berschrift </H1><P>Es gibt <B>Fettdruck</B> und <I>Kursivdruck</I>.<P>Hier kommt eine Tabelle:<TABLE CELLPADDING=5 BORDER=1>
<TR><TD>Autor</TD><TD>Titel</TD></TR><TR><TD>Karl May</TD><TD>Durch die Wste</TD></TR><TR><TD>Erika Mustermann</TD><TD>Tpfern in der Toskana</TD></TR><TR><TD>Willi Wacker</TD><TD>Selber Atmen</TD></TR>
</TABLE><CENTER> Dieser Satz wird zentriert.</CENTER><P>Hier geht’s zur <A HREF="http://www.uos.de">Homepage</A>der Uni.
</BODY></HTML>
Quelltext einer HTML-Seite
Die multimedialen Daten werden vom Server dem Klienten unter Nennung ihresMIME-Typen (Multi-Purpose Internet Mail Extension) ankundigt. Verfugt der Browseruber die geeigneten Plugins, so ister in der Lage, diese Inhalte zu visualisieren. In den folgenden Kapiteln sollen nun die wichtigstenFormate zur Darstellung multimedialer Inhalte vorgestellt werden.
4
3 Text
3.1 Kodierung von Text
When in the Course of human events, it becomes necessary for one people todissolve the political bands which have connected them with another, and toassume among the powers of the earth, the separate and equal station towhich the Laws of Nature and of Nature’s God entitle them, a decent respectto the opinions of mankind requires that they should declare the causeswhich impel them to the separation. We hold these truths to be self-evident,that all men are created equal, that they are endowed by their Creator withcertain unalienable Rights, that among these are Life, Liberty and thepursuit of Happiness. That to secure these rights, Governments areinstituted among Men, deriving their just powers from the consent of thegoverned. That whenever any Form of Government becomes destructive of theseends, it is the Right of the People to alter or to abolish it, and toinstitute new Government, laying its foundation on such principles andorganizing its powers in such form, as to ...
Amerikanische Unabhangigkeitserklarung: 181 Worte, 1084 Zeichen, 1 KB
01010111 01101000 01100101 01101110 00100000 01101001 01101110 0010000001110100 01101000 01100101 00100000 01000011 01101111 01110101 0111001001110011 01100101
Binardarstellung der Worte ’When in the Course’
3.2 Kompression von Text
Die wichtigsten Verfahren zur (verlustfreien) Kompression von Text lauten
• Run Length Encoding: mehrfaches Vorkommen desselben Zeichens wird durch Angabe derAnzahl und des Zeichens kodiert.
• Huffman-Encoding: Selten vorkommene Zeichen werden mit viel Bits kodiert, haufig vorkom-mene Zeichen werden mit wenig Bits kodiert.
• LZW-Komprimierung : Mehrfach auftretende Teilstrings werden in einem Worterbuch gespei-chert unduber einen Index referiert.
5
4 Pixelbilder
4.1 Grundlagen
sichtbares Licht
UKW Mikrowelle Infrarot ultraviolett Rontgen
rot
7803.8·1014
gelb grun cyan blau magenta380 nm
7.8·1014 Hertz
109 108 107 106 105 104 103 102 101 100
nm
108 109 1010 1011 1012 1013 1014 1015 1016 1017 1018
Hertz
- Millimeter ¾ -Mikrometer¾ - ¾Nanometer
Farbspektrum
Wellenlange· Frequenz = Lichtgeschwindigkeit (= 2.998·108 m/sec).
Farbspektrum := Verteilung der Wellenlangen
400 700 400 400700 700schwarz weiß grün
Beispiele fur Farbspektren
6
RGB-Modell (additiv)
Jeder Farbpunkt wird durch ein RGB-Tripel beschrieben, welches den Rot-, Grun- und Blau-anteil ausdruckt.
(0, 0, 0) schwarz �
(1, 1, 1) weiß
grün �
(0, 1, 0)
(1, 0, 0) rot
(1, 1, 0) gelb �
(1, 0, 1) magenta blau
�
(0, 0, 1)
(0, 1, 1) cyan �
RGB-Wurfel
Es gilt: 0, 0, 0 nichts ergibt schwarz1, 0, 0 nur rot ergibt rot0, 1, 0 nur grun ergibt grun0, 0, 1 nur blau ergibt blau1, 1, 0 rot und grun ergibt gelb0, 1, 1 grun und blau ergibt cyan1, 0, 1 rot und blau ergibt magenta1, 1, 1 rot und grun und blau ergibt weiß
CMY-Modell (subtraktiv)
Bei Farbdrucken empfangt das Auge nur solche Anteile des weißen Lichts, die reflektiertwerden.
Die gedruckten Farben entziehen also dem weißen Licht gewisse Bestandteile. Es bietet sichdaher ein subtraktives Farbmodell an.
Ein CMY-Tripel beschreibt, wieviel von den Grundfarben Cyan, Magenta, Yellow reflektiertbzw. von den Grundfarben Rot, Grun, Blau absorbiert wird.
Jeder Farbpunkt wird durch ein CMY-Tripel beschrieben, welches angibt, wieviel von denRot-, Grun- und Blau-Anteilen absorbiert wird (=wieviel von den Cyan-, Magenta- undYellow-Anteilen reflekiert wird).
7
magenta (0, 1, 0)
(1, 1, 0) blau
�
schwarz �
(1, 1, 1)
cyan �
(1, 0, 0)
(1, 0, 1) grün �gelb �
(0, 0, 1)
(0, 1, 1) rot
weiß (0, 0, 0)
CMY-Wurfel
Es gilt 0, 0, 0 absorbiert nichts bleibt weiß0, 0, 1 absorbiert blau bleibt gelb0, 1, 0 absorbiert grun bleibt magenta1, 0, 0 absorbiert rot bleibt cyan0, 1, 1 absorbiert cyan bleibt rot1, 0, 1 absorbiert violett bleibt grun1, 1, 0 absorbiert gelb bleibt blau1, 1, 1 absorbiert alles bleibt schwarz
(0, 1, 0) Magenta gemischt mit (0, 0, 1) Gelb ergibt (0, 1, 1) Rot(1, 0, 0) Cyan gemischt mit (0, 0, 1) Gelb ergibt (1, 0, 1) Grun(1, 0, 0) Cyan gemischt mit (0, 1, 0) Magenta ergibt (1, 1, 0) Blau
Es gilt (R,G,B) = (1,1,1)− (C,M,Y).
Speicherbedarf und Zahl der FarbenTypischerweise wird zur Speicherung eines Farban-teils ein Byte (= 8 Bits) verwendet, fur ein RGB-Tripel werden daher 3 Byte benotigt. ProFarbanteil gibt es 256 Helligkeitsstufen. Insgesamt gibt es 256× 256× 256≈ 16 Millionenerschiedene Farbmoglichkeiten.
Auflosung
Die Auflosung gibt die Zahl der Pixel pro Langeneinheit an und wird gemessen inDots perInch (dpi).
Scanner-Auflosung: Zahl der CCD-Elemente in einer Sensorzeile (z.B. 300 dpi)
Scan-Auflosung: Gewahlte Auflosung beim Scanner
Bildauflosung: Zunachst Scan-Auflosung, spater Mittelung oder Interpolation
Bildschirmauflosung: Pixel pro Zoll. Ein Computermonitor hat etwa 75 dpi.
Druckerauflosung: Zahl der Druckerpunkte, die der Druckkopf setzen kann. Bei 3 Grund-farben wird jedes Farbpixel durch eine Rasterzelle mit 16 x 16 Druckerpunkten darge-stellt.
Druckauflosung: Druckerauflosung/Rasterzellengroße. 300 dpi-Inkjet liefert 300/16 =18.75 dpi. 300 dpi Laserdrucker liefert 300 dpi.
8
Auflosung Kleinbild-Dia: Das Einscannen eines 36 x 24 mm Dias mit 2.500 dpi ergibt eineDateimit Breite 3,6 cm / 2,54 cm * 2.500 = 3.543 Pixelnmit Hohe 2,4 cm / 2,54 cm * 2.500 = 2.363 Pixelnmit Platzbedarf 3.543× 2.363≈ 25 MB
Mit einem 300 dpi-Laserdrucker entsteht daraus ein Abzug ...
... mit Breite 2.54 cm× 3.543/300≈ 30 cm
... mit Hohe 2.54 cm× 2.363/300≈ 20 cm
9
4.2 Adobe Photoshop
Programm zur Bearbeitung von Pixel-Dateien (Pixel-Editor)
• Erzeugen und Manipulieren von Liniengrafiken mit Malwerkzeugen
• Erzeugen und Manipulieren von Schrifteinblendungen
• Importieren von Pixel-Dateien verschiedener Formate
• Exportieren von Pixel-Dateien in verschiedene Formate
• vielfaltige Selektionsmoglichkeiten der zu bearbeitenden Bildteile
• geometrische Transformationen und Verzerrungen
• Verpflanzung von Bildteilen durch Stempelwerkzeug
• Filteroperationen
• Kantendetektion
• Weich- und Scharfzeichner
• Farb-, Helligkeit- und Kontrastmanipulation
• Retusche durch Aufhellen, Abdunkeln, “Verschmieren”
• Wechsel der Farbtiefe
• Dithering
• Strukturierung des Bildes in Ebenen
• Strukturierung der Ebene in Kanale
• Definition einer Auswahl durch eine Maske
• Definition einer Auswahl durch einen Pfad
10
Screenshot vom Bildbearbeitungswerkzeug Adobe Photoshop
11
4.3 GIF
Bei den auf WWW-Seiten verwendeten Grafikformaten nimmt GIF den Spitzenplatz in punktoHaufigkeit ein. Insbesondere bei kunstlich erzeugten Bildern mit einheitlich gefarbten Farbflachenist es an Kompaktheit nicht zu schlagen.
bauarbeiter.gif, Dateigroße: 2K
Die Einbettung des Bildes in eine Web-Seite geschieht unter Nennung des Dateinamens mit demsogenannten Image-Tag, wobei optional weitere Parameter angegeben werden konnen.
<HTML><HEAD>
<TITLE>Einbettung eines Bildes</TITLE></HEAD><BODY BGCOLOR="DDDDDD">
<CENTER><H1> Einbettung eines Bildes </H1><IMG SRC="bauarbeiter.gif"
WIDHT=100HEIGHT=113
><P>Datei: bauarbeiter.gif, Gre: 13 K
</CENTER></BODY>
</HTML>
HTML-Seite mit Bild-Einbettung
Zwei Kompressionsideen tragen zur Datenreduktion bei:
Farbpalette: Statt in jedem Pixel das komplette RGB-Tripel mit 3 Byte = 24 Bit Farbinformation zuspeichern, werden fur geeignetesp die2p wichtigsten Farben in einer Tabelle, genannt Farbpa-lette, gehalten unduber einenp-Bit langen Index referiert. Fur p = 8 schrumpft der Platzbedarfdaher auf ein Drittel.
LZW: Das vonLempel, Ziv und Welchentwickelte und als Patent geschutzte Verfahren zur Kom-pression beliebiger Zeichenfolgen basiert auf der Idee, in einer sogenannten Prafix-Tabelle dieAnfangsstucke bereits gelesener Strings zu speichern und wiederholtes Auftauchen derselbenStrings durch Verweise in die Tabelle zu kodieren.
12
127 086
�
235 117
000 �
001 �
002 �
003 �
R
213 194 003 �
126
056 �
152 241 089
�
G �
B
251 252 253 254 255
018 �
130 219 208 029
�
020 �
212 007 �
178 120
110 144 254 094
�
212
Color Table
Beide Ansatze zahlen sich insbesondere dann aus, wenn die Vorlage weite Bereiche mit identischerInformation enthalt, wie es bei computergenerierten Grafiken, wie z.B. Logos, der Fall ist. Zum einenenthalt das Bild dann gar nicht die theoretisch verfugbare Zahl von2563 ≈ 16 Millionen Farben,sondern nur wenige Dutzend, und kann daher vollig verlustfrei durch eine Palette mit 256 Eintragendargestellt werden. Zum anderen fuhren Folgen von identischen Pixelindizes zu kompakten Eintragenin der Prafixtabelle.
Bei der Umwandlung eines True-Color-Bildes in ein Palettenbild mit Hilfe eines Bildbearbeitungs-programms gibt es zwei Ansatze: Standard oder individuell. Standard bedeutet die Verwendung einermit 216 reprasentativ gewahlten Farben vorbesetzten Farbtabelle (z.B. vom Netscape-Browser). Diesewird eventuell dem gegebenen Bild nicht optimal gerecht, aber die Auswirkungen bei der Prasentationsind vorhersehbar. Individuell bedeutet, eine fur die jeweilige Bildvorlage maßgeschneiderte Farbpa-lette zu vorgegebener Farbzahl2p zu konstruieren. Hierzu werden im Median-Cut-Algorithmus diebeobachteten Farbhaufigkeiten im RGB-Wurfel angeordnet und dieser dann langs eines orthogonalverlaufenden Schnittes (Median) in zwei Subwurfel geteilt (Cut), mit etwa gleichmachtiger Pixelzahl.Diese Partitionierung wird solange fortgefuhrt, bis2p Wurfel entstanden sind, die dann jeweils durcheinen Index der Farbpalette reprasentiert werden.
Durch ein sogenanntesFloyd-Steinberg-Ditheringkann die ohnehin kaum wahrnehmbare Differenzzum Originalbild weiter reduziert werden. Hierzu wird der beim Quantisieren langs einer Scanlineverursachte Fehler (d.h. die Differenz zwischen wahrem und approximiertem Farbwert) den nachfol-genden Pixeln vor ihrer Quantisierung zugeschlagen, so daß auf großere Flachen bezogen die Summeder konstruierten Farbwerte mit dem Ausgangsmaterialubereinstimmt. GIF ist streamingfahig; durchein sogenanntesInterlacingwird zunachst nur jede 8. Zeileubertragen und danach jeweils die mittlereZeile der verbleibenden Lucken.
13
Folgende Bilder zeigen Original und quantisierte Versionen einer 14×14 Ausschnittvergroßerung, er-stellt von einem 814×517 True-Color-Bild. Die Zahl der Farben bezieht sich jeweils auf das Gesamt-bild. Verwendet wurde der Median-Cut-Algorithmus mit anschließendem Floyd-Steinberg-Dithering.
24 Bit pro Pixel,16 Mill. Farben
8 Bit pro Pixel,256 Farben
4 Bit pro Pixel,16 Farben
2 Bit pro Pixel,4 Farben
Das GIF-Format erlaubt auch die Abspeicherung mehrerer Bilder in einer Datei, welche zudem mitTiming-Information versehen werden konnen (animated GIF). Hierdurch ist die Erstellung einfacherAnimationen moglich, bei denen wenige kleine Grafiken in schneller Abfolge die Illusion eines Filmsverursachen.
14
4.4 JPG
Wie soeben erlautert, liegen die Starken von GIF in der Wiedergabe von computergenerierten gleich-farbigen Flachen. Geht es dagegen um die Reproduktion einer fotorealistischen Vorlage, reichen 256Tabelleneintrage oft nicht aus, sanfte Farbverlaufe zu beschreiben. Hier kommt JPEG zu Hilfe, einVerfahren benannt nach der Gruppe, die es entwickelt hat, derJoint Photographic Expert Group,Mitglieder der StandardisierungsgremienCCITTundISO.
Zunachst wird das RGB-Bild in den YUV-Raum transformiert, d.h. die Farbinformation wird ver-lustfrei durch einen HelligkeitsanteilYund zwei FarbdifferenzenU undV kodiert. Da das Auge furHelligkeitssprunge sensitiver ist als fur Farbdifferenzen, kann man nun dieY-Matrix in der vollenAuflosung belassen und in denU , V-Matrizen jeweils 4 Pixel mitteln (4:1:1 Subsampling).
Fur je 4 Originalpixel mit insgesamt 12 Bytes werden nun 4 + 1 + 1 = 6 Bytes benotigt (pro Bildpunktalso 6· 8/4 = 12 Bit). Die Reduktion betragt 50 %.
Nun werden die drei Matrizen in Blocke mit 8×8 Abtastwerten aufgeteilt. Anschließend durchlaufendie Blocke folgende Schritte:
Diskrete Cosinus Transformation: Hierdurch wird die 8×8 Ortsmatrix verlustfrei in eine 8×8 Fre-quenzmatrix umgewandelt. Die Helligkeitsinformation einer Flache ist nun kodiert alsUberla-gerung von 64 zweidimensionalen Schwingungen.
Quantisierung: Die errechnete Matrix hat langs einer im Zickzack laufenden Scanline von linksoben nach rechts unten Werte abnehmender Große. Da die Werte rechts unten den hohen, furdas menschliche Auge eher unwichtigen Frequenzen entsprechen, werden alle Eintrage langsdieser Scanline durch Faktoren zunehmender Große dividiert.
Komprimierung: Die Folge der quantisierten Koeffizienten wird einer Lauflangenkomprimierungunterzogen und anschließend durch eine empirisch ermittelte Huffman-Tabelle kodiert.
Um aus dem komprimierten Bild das Original zu rekonstruieren, werden die Schritte in umgekehrterReihenfolge und inverser Funktionalitat durchlaufen. Die nachsten beiden Bilder zeigen die Auswir-kungen der drei Phasen angewendet auf eine 8×8 Grauwertmatrix.
Ausgangsbildmatrix rekonstruierte Bildmatrix
Durch die Wahl der Rundungstabelle laßt sich der Tradeoff zwischen Qualitat und Kompression be-liebig steuern. Ein typisches Farbbild laßt sich auf etwa 5% seiner Originalgroße reduzieren, ohne
15
daß ein menschlicher Betrachter die Detailfehler bemerken konnte. Bei 2% und weniger entstehendeutlich sichtbare Artefakte in Form von einfarbig gefarbten Klotzchen.
Dateigroße: 7,3 KBKompression 22:1
Dateigroße 2,5 KBKompression 65:1
JPEG-Kompression eines 200× 279 True-Color-Bildes,unkomprimierter Speicherbedarf: 163 KB
16
4.5 FlashPix
Gesamtansicht JPEG-Ausschnitt FlashPix-AusschnittAuswirkung der FlashPix-Technologie in einem Online-Shop
Um beim Web-Browser eine gewisse Zoomfahigkeit bei Pixelbildern zu erreichen, wurde das FormatFlashPixentworfen. Die Idee geht zuruck auf eine gemeinsame Anstrengung der Firmen Kodak, Mi-crosoft und Hewlett Packard bei der Suche nach einem neuen Bildformat und ist recht einfach: Dasim Web-Browser zu prasentierende Bild wird in mehrfachen Versionen unterschiedlicher Auflosungauf dem Server gehalten und jeweils der vom Klienten angeforderte Teil in passender Großeubert-ragen. Typischer Einsatzbereich sind Online Shops, die ihr Warenangebot auf Web-Seiten in einerWeise prasentieren wollen, daß der Kunde ausgehend von einer Totalansicht des Objekts fast beliebignah heranzoomen und somit alle Details inspizieren kann. Wegen der Verfugbarkeit der abzubilden-den Waren fur den Shop-Anbieter ist auch die Gelegenheit fur die Erstellung hochauflosender Bilderdurch die Verwendung einer professioneller Kameraausrustung gegeben.
In der einfachsten Form erfordert dies beim Klienten keine weiteren Vorkehrungen, da der LivePictureImage Server den angeforderten Bildteil als JPEG-Bild liefert. Welcher Teil eines bereits im Browsergeladenen Bildes in erhohter Auflosung angefordert wird, kann durch die Koordinaten des Mausklicksbestimmt werden. Auf diese Weise fuhrt der Betrachter einen Zoomvorgang aus, der ohne dieubli-che Rasterung ablauft. Daß auf dem Server ggf. große Datenmengen vorgehalten werden mussen,kummert den Klienten wenig; er profitiert vielmehr von kurzen Kommunikationszeiten, da immer nurder Teilubertragen wird, den er benotigt.
Die komfortablere Version von FlashPix verwendet ein Plugin oder setzt einen Java-fahigen Browservoraus, der ein leichtgewichtiges Applet vorweggeschickt bekommt. Vorteil dieser beiden Ansatzeist eine hohere Funktionalitat beim Betrachten der Bilder wie z.B. Vor- und Zuruckzoomen sowieVerschieben des Betrachterausschnitts.
Neben der multiplen Auflosung, die ja bereits auf der Kodak Foto CD Verwendung fand, gehorenfolgende Features zum FlashPix-Format:
Kompression: Fur jede Auflosungsstufe wird das Bild nach dem JPEG-Verfahren kodiert. Es bestehtauch die Moglichkeit, ohne Kompression zu speichern.
Text: Textuelle Zusatzinformation kann gespeichert werden. Diese Daten sind strukturiert anhand derSchlussel, wie z.B: Quelle, Urheber, Inhalt, Kameraeinstellungen, Filmcharakteristika, Scan-charakteristika.
17
Farbr aume: Neben unkalibrierten RGB-Werten gibt es monochrom und Photo YCC
Transformation: FlashPix-Bilder halten neben den Rohdaten einige wenige Filter- und Transforma-tionsmatritzen vor, die jeweils nur auf den zur Zeit sichtbaren Teil angewendet werden mussen.Beispiele sind Translation, Rotation, Skalierung, Scharfe, Kontrast, Helligkeit und Farbbalan-ce. Hierdurch reduziert sich der Hauptspeicherbedarf eines Bildverarbeitungsprogramms undgleichzeitig erhoht sich seine Bearbeitungsgeschwindigkeit, da die Masse der Bilddaten unbe-arbeitet auf der Platte verbleiben konnen.
Vorlage fur 360-Grad-Projektion (Kreißsaal des Marienhospitals Osnabruck)
LivePicture eroffnet mit seinem FlashPix-Plugin auch die Moglichkeit zum interaktiven Betrachtenvon 360-Grad Panoramen. Bei der Herstellung solcher Bilder ist der Ausgangspunkt eine Folge vonEinzelschnappschussen, die mit einer konventionellen Kamera im Kreis erstellt wurden. Nach demDigitalisieren werden mit dem WerkzeugLivePicture PhotoVistadie Aufnahmen, unter automati-scher Berucksichtigung deruberlappenden Bereiche, zu einem langlichen Schlauch im JPEG-Formatzusammengeschweißt. Vorteil der Verwendung dieses gangigen Bildformats ist naturlich die Moglich-keit, mit jeder Bildverarbeitungssoftware weitere Manipulationen an dem Rundblick durchfuhren zukonnen.
PhotoVista erzeugt neben dem JPEG-Bild noch eine gleichnamige Datei mit der Endungivr . Diedort gespeicherte Information benutzt das Plugin zur perspektivisch richtigen Umrechnung des JPEG-Bildes in ein interaktiv drehbares Panorama. Als multimediale Zugabe konnen der Datei noch Klang-information und Animationen beigefugt werden.
18
4.6 Morphing
• gleichformige Transformation eines Quell-Bildes in ein Ziel-Bild.
• Definition von korrespondierenden Punkten in Quelle und Ziel.
• Quell-Pixel wandern zu Ziel-Pixel unter gleichzeitiger Farbanpassung.
Screenshot vom Morph-Editor Ulead Morph Studio
Morphresultat: Professor Treiffen
19
4.7 Java-Applets
Bildmanipulationen durch Java-Applets bietet die Seitehttp://www.anfyteam.com
20
5 2D-Vektor-Grafik
5.1 Grundlagen
Dateien mit 2D-Vektor-Grafiken beschreiben ein 2-dimensionales Bild durch Angabe von x/y-Koordinaten und geometrischen Attributen (Strichstarke, Farbe, Fullmodus, Transparenz). Der zu-gehorige Player rendert aus diesen Angaben ein Pixelbild.
Algorithmus zum Zeichnen einer Linie:
void bresenham_linie(Point p, Point q)/* zeichnet Linie von Punkt p zu Punkt q im 1. Oktanden */{
int dx, dy, error, delta, schwelle;dx = q.x - p.x;dy = q.y - p.y;error = -dx;delta = 2*dy;schwelle = -2*dx;while (p.x <= q.x) {
set_pixel(p);p.x++;error += delta;if (error > 0) { p.y++; error += schwelle; }
}}
Vom Bresenham-Algorithmus erzeugte Linien
Durch Antialiasing (angepasste Grauwerte in der Umgebung) kann der Pixelverlauf geglattet werden.
21
Algorithmus zum Zeichnen eines Kreises
void bresenham_kreis (int r)/* zeichnet Kreis um Punkt 0,0 mit Radius r */{
int x, y, d, dx, dxy;x=0; y=r; d=1-r;dx=3; dxy=-2*r+5;while (y>=x) {
set_pixel (new Point(x,y));if (d < 0) { d += dx; dx += 2; dxy += 2; x++; }
else { d += dxy; dx += 2; dxy += 4; x++; y--; }}
}
Vom Bresenham-Algorithmus erzeugte Kreise
22
5.2 Macromedia Flash
• Werkzeug zum Editieren und Animieren von zweidimensionalen Vektorgrafiken.
• Durch kompaktes Speicherformat geeignet fur plakative, animierte Grafiken im Internet.
Screenshot vom Vektorgrafikwerkzeug Macromedia Flash
23
Gesamtansicht des Stadtplans Teilansicht des Stadtplans
Rasterfreies Zoomen bei Dateien im Flash-Format durch Vektorgrafik
<HTML><HEAD>
<TITLE>Macromedia Flash</TITLE></HEAD><BODY BGCOLOR="f9d1a1">
<CENTER><H1>Eingebetteter Flash-Film</H1>
<EMBEDsrc="vogel.swf"width=700height=200Loop="True"Play="True"BGColor="f9d1a1"Quality="Autohigh"Scale="showall"SAlign=""
><P>Dateiname: vogel.swf, Gre: 6 K
</CENTER></BODY>
</HTML>
HTML-Seite mit Flash-Einbettung
24
6 3D-Vektor-Grafik
6.1 Grundlagen
Dateien mit 3D-Vektor-Grafiken enthalten Angaben zu 3-dimensionalen Szenen inkl. synthetischerKamera und Beleuchtung. Der zugehorige Player rendert daraus eine photorealistische Darstellung.
Typische Einsatzgebiete:
• CAD (Architektur & Maschinenbau)
• Visualisierung (von Messergebnissen)
• Simulation (Physik/Chemie/Biologie)
• Unterhaltung (Virtual Reality)
Reprasentation
• Approximiere Korper durch Polyeder
• Speichere Polyeder als Liste von Polygonen
h11
h3 h4
P4h8
P1P4
h6
F2
h5
P2
F4
h9 h7 h1
F1
h2
F3
h12
P3
h10
P4
Tetraeder mit 4 Knoten, 12 Halbknoten, 4 Flachen
25
Die synthetische Kamerawird beschrieben
• Bildebene (VektorenU,V)
• Eckpunkte des Fensters (xmin,ymin,xmax,ymax)
• Blickrichtung (VektorN)
• Entfernung des Augenpunktes (d)
d
V
U
N
(x , y )
(x , y )Auge
min
max max
min
26
6.2 Projektion
Gegeben sind
• das zu projizierende Objekt mit den Koordinaten(x,y,z)
• die Bildebene =x−−y - Ebene
• das Projektionszentrum (Augenpunkt) bei(0,0,−a)
P’y’
y
P = (x, y, z)
(0, 0, 0)
(0, 0, −a)
}
z
x’
x
−z −z
z z
yx
z
a
−x −y
P P
yx
z
a
P’P’x’ y’
x′ :=x
1+z/ay′ :=
y1+z/a
Jedes Objekt ist beschrieben durch seine Modellkoordinaten.
Seine Orientierung in der Szene wird beschrieben durch eine Transformationsmatrix mit akkumulier-ten Schiebe-, Dreh- und Skalier-Anteilen.
27
6.3 Caligary trueSpace
Werkzeug zum Modellieren, Rendern und Animieren von 3D-Objekten.
3D-Editor unter Verwendung von
• hierarchischer Objektstruktur,
• Polygonvereinigung, -schnitt, -komplement,
• Translation, Skalierung, Rotation,
• Extrusion,
• Verformung,
• Drehkorpern,
• Kurven.
Projektion und Rendern unter Berucksichtigung von
• Lichtquellen,
• Kamerastandpunkten,
• Spiegelung, Transparenz, Lichtbrechung,
• Texture Mapping, Bump Mapping.
Animation durch
• Keyframes,
• Pfade.
Ausgabe als
• Bitmapdateien,
• VRML-Welten,
• AVI-Files.
28
Szene mit 5 Objekten, berechnet mit Raytracer unter Verwendung vonReflektion, Transparenz, Texture-Mapping, Bump-Mapping, Hintergrund-Mapping
Screenshot vom 3D-Werkzeug Caligary trueSpace
29
6.4 VRML
VRML, sprich Wormel, ist eine fur das WWW entworfene Virtual Reality Modelling Language zurBeschreibung von 3-dimensionalen Szenen mit multimedialen Komponenten und Animation. Ana-log zum 2D-Vektorformat Flash gelangen Szenen nicht durch Einscannen in den Rechner, sonderndurch eine geometrische Beschreibung aller raumlichen 3D-Koordinaten. Die gerenderte Projektionder Szene kann von jedem Web-Browser geliefert werden, deruber ein passendes Plugin verfugt.
VRML-Szenen werden beschrieben in ASCII-Dateien mit der Endung*.wrl , welche innerhalb einerHTML-Seite mit dem EMBED-Kommando referiert werden, z.B.
<EMBED SRC=quader.wrl WIDTH=400 HEIGTH=300>
Ein entsprechend konfigurierter Web-Server schickt dem anfordernden Klienten als Vorspann dieserDaten den Mime-Typ VRML, worauf das zur Betrachtung installierte Plugin, z.B. Cosmo Player 2.0von Silicon Graphics, die eingehenden Daten in eine interne Datenstruktur einliest, von wo sie zurBerechnung einer fotorealistischen Projektion verwendet werden. In welcher Weise Blickwinkel undOrientierung in der Szene modifiziert werden konnen, bleibt dem Pluginuberlassen: Mit Mauszeigerund Keyboard Shortcuts wandert der Benutzer durch eine virtuelle Welt, verkorpert im wahrsten Sinnedes Wortes durch einen Avatar, seiner geometrischen Reprasentation, beschrankt in seiner Beweglich-keit durch physikalische Restriktionen und durch eine simulierte Schwerkraft.
Wichtigster Bestandteil von VRML-Szenen ist der sogenannte Knoten, der wie ein Programmierspra-chenrecord aus Feldern verschiedenen Typs besteht. Diese Felder verweisen entweder auf nicht weiterstrukturierte Objektknoten oder andere Gruppenknoten, die wiederum mittels ihrer Felder verzweigenkonnen.
Es folgt eine einfache VRML-Szene, in der ein Quader mit Kantenlange 2 im Ursprung des Weltkoor-dinatensystems plaziert wird. Diex-Richtung entspricht der horizontalen Bewegung,y beschreibt dievertikale Richtung undzwachst auf den Betrachter zu. Der Box-Knoten hat dabei als einziges (optio-nales) Feld die Kantenlange. Dieser Quader wird referiertuber das geometry-Feld des Shape-Knotens,zustandig fur die Gestaltung eines Objekts.Uber das appearance-Feld wird die Materialbeschaffen-heit in Form einer RGB-Farbe und eines Transparenz-Koeffizienten spezifiziert. Der Shape-Knotenwiederum ist als eins der Kinder im Transform-Knoten eingetragen, deruber ein translation-Feld furdie Verschiebung des Quaders sorgt.
Screenshot vom VRML-Wurfel
30
7 Audio
7.1 Grundlagen
Amplitude
Zeit
Periodische Luftdruckschwankung erzeugt Ton:
• Frequenz bestimmt die Hohe.
• Amplitude bestimmt die Lautstarke.
• Schwingungsform bestimmt den Klang.
Der horbare Bereich liegt zwischen 20 Hz und 20 KHz.Der ertragbare Bereich liegt zwischen 0 und 130 dB.
31
Schallintensitat = Leistung pro Flachenotiert in (Watt/m2).
Schallpegel = 10facher dekadischer Logarithmusvom Verhaltnis zweier Schallintensitatennotiert indb, dezibel.
160104
Flugzeugturbine inabgeschlossenen Raumen
150103
140102Schmerzgrenze
130101
120100DonnerFlugzeug, StadtbahnDampfhammer
11010−1laute Rockmusik
10010−2
9010−3
U-Bahn
8010−4
Geschaftsstraße7010−5
normale Fabrik
Schwerlasttransport
6010−6 normale Unterhaltungkleines Orchester
5010−7normales Buro
4010−8
gedampfte Unterhaltung
3010−9ruhiges Buro
2010−10 ruhiger Wohnraum
1010−11 ruhiges Aufnahmestudio
010−12 Horschwelle
Typische Lautstarkepegel, angegeben in Watt prom2 und in dezibel
32
Digitalisierung
PCM = Pulse Code Modulation:
11110 01000 00110 00000 11111 00010 00101 00001 11110
kontinuierlich analoges Signal
Abtastung
diskontinuierliche Folge
Quantisierung
diskontinuierliche Folge diskreter Werte
digitale Darstellung
als Ergebnis der DigitalisierungFolge digitaler Werte
(in Zweierkomplement−Darstellung)
analoger Werte
33
Anforderungen an die Digitalisierung:
• Abtastfrequenz muss mindestens doppelt so groß sein wie die hochste vorkommende Frequenz.
Aliasing-Effekt bei Verwendung von 8/7 der Originalfrequenz
• Da der horbare Bereich sich bis 20 KHz erstreckt, ist eine Abtastfrequenz von mind. 40 KHzerforderlich.
• Etwa 6 dB entsprechen einem Verdoppeln der Amplitude16 Bit konnen 16· 6 = 96 dB abdecken.
Eine Single-Speed Audio-CD verwendet 44.100 Hz in Stereo⇒ 2× 16× 44.100 = 1.34 MBit/sec
Telefon (Frequenzbereich 200 - 3200 Hz) verwendet 8.000 Hz in Mono⇒ 8× 8.000 = 62.5 KBit/sec
34
7.2 Creative WaveStudio
Werkzeug zur Aufnahme, Manipulation und Wiedergabe von Audiodaten.
• Digitalisierung eines analogen Audiosignals,
• verschiedene Samplingfrequenzen,
• verschiedene Quantisierungsauflosungen,
• Mono/Stereo-Wahl,
• Ein- und Ausblenden,
• Invertieren,
• Echoeffekte,
• Mischen von Audioquellen.
Windows Audiorecorder
<HTML><HEAD>
<TITLE>Wave-Datei</TITLE></HEAD><BODY BGCOLOR="DDDDDD">
<CENTER><H1>Eingebettete Wave-Datei</H1><EMBED
SRC="toccata.wav"WIDTH=150HEIGHT=40AUTOSTART=FALSE
><P>Dateiname: toccata.wav, Dauer: 4 Sekunden, Gre: 625 KByte
</CENTER></BODY>
</HTML>
HTML-Datei mit Wave-Einbettung
35
7.3 mp3
Ziel: CD-Tonqualitat bei Datenrate von 2× 64 KBit/sec.
Dies entspricht einer Reduktion um den Faktor 1.378/128≈10.
Konzepte von mp3 (Audio Layer III von mpeg-2):
• Fouriertransformation der PCM-Abtastwerte
• Spektralanalyse der Frequenzverteilung
• Partitionierung in 32 Subbandera 20000/32 = 625 Hertz.
• Berucksichtigung eines psychoakustischen Modells
• Ausnutzung eines Maskierungseffekts durch gegenseitigeUberlagerung
• Lauflangenkodierung undHuffman-Kodierung
Streaming Audio vom Server gabriel.informatik.uni-osmanrueck.de (40 KBit/sec)
WinAmp-Player zum Abspielen von mp3-Dateien
36
7.4 RealAudio
<HTML><HEAD>
<TITLE>RealAudio</TITLE></HEAD>
<BODY BGCOLOR="silver"><center><H1>Audio on Demand mit 40 KBit-Verbindung</H1><EMBED
SRC="rtsp://vs1.rz.uni-osnabrueck.de/public/mmp/mmp2004/oliver/geh-du-mal-ran-40.rm"type="audio/x-pn-realaudio-plugin"CONSOLE="Clip1"CONTROLS="All"HEIGHT=120WIDTH=320AUTOSTART=false
>
</center></BODY>
</HTML>
HTML-Seite mit RealAudio-Einbettunguber EMBED-Tag
37
<HTML><HEAD>
<TITLE>RealAudio</TITLE></HEAD>
<BODY BGCOLOR="silver"><center><H1>Audio on Demand mit 40 KBit-Verbindung</H1>
<OBJECTCLASSID="clsid:CFCDAA03-8BE4-11cf-B84B-0020AFBBCCFA"WIDTH ="320"HEIGHT ="120"><PARAM NAME="controls" VALUE="All"><PARAM NAME="console" VALUE="lied"><PARAM NAME="autostart" VALUE="false"><PARAM NAME="src" VALUE="rtsp://vs1.rz.uni-osnabrueck.de/public/mmp/mmp2004/oliver/geh-du-mal-ran-40.rm"><EMBED
SRC = "rtsp://vs1.rz.uni-osnabrueck.de/public/mmp/mmp2004/oliver/geh-du-mal-ran-40.rm"TYPE = "audio/x-pn-realaudio-plugin"CONSOLE = "lied"CONTROLS = "ALL"WIDTH = "320"HEIGHT = "120"AUTOSTART = "false">
</EMBED></OBJECT></center></BODY></HTML>
HTML-Seite mit RealAudio-Einbettunguber OBJECT-EMBED-Tag
URL fur eingebetteten RealPlayer:rtsp://vs1.rz.uni-osnabrueck.de/public/mmp/mmp2004/oliver/geh-du-mal-ran-40.rm
URL fur Popup-Player:http://vs1.rz.uni-osnabrueck.de:554/ramgen/public/mmp/mmp2004/oliver/stenkelfeld-16.rm
Streaming Audio vom RealServer gabriel.informatik.uni-osnabrueck.de
38
7.5 Midi
Durch die Digitalisierung von Klanginformationen entstehen sehr umfangreiche Dateien, wenn diefur HiFi-Qualitat erforderlichen Abtastfrequenzen von 44 Kilohertz bei 16-Bit Auflosung verwendetwerden: Pro Minute werden etwa 10 MByte benotigt. Dieser Vorgang entspricht dem Einscanneneiner Bildvorlage. Analog zur Vektorgraphik laßt sich die Klanginformation wesentlich kompakterspeichern, wenn die Soundinformation nicht gesampelt werden muß, sondern im Computer entste-hen kann. Hierzu ist eine Notation erforderlich, welche im wesentlichen den Verlauf jeder einzelnenMelodiestimme durch eine Sequenz von Ereignissen kodiert.
Die beiden nachsten Bilder zeigen beispielhaft, wie aus einer konventionellen Notenschrift eine Be-fehlsfolge entstanden ist, welche fur jeden Schlag eines jeden Taktes unter Angabe des Zeitpunktes inMillisekunden die Notendauer, die Notenhohe und die Anschlagstarke angibt.
Kodierung von Musik durch Notenhohe, Notendauer und Anschlagstarke
Die zu diesem Zweck entworfene Sprache MIDI (Musical Instrument Digital Interface) entstand 1982als Ergebnis einer Kooperation der Geratehersteller Sequential Circuits, Roland, Yamaha, Kory undKawaii und war ursprunglich konzipiert als Kommunikationssystem zur Ansteuerung elektronischerMusikinstrumente. Mit der Verbreitung von Personal-Computern kamen weitere Komponenten hinzu(1987Midi Time Code, 1988Midi Files). Inzwischen istGeneral Midiein weitverbreiteter Standardzur Spezifikation, Manipulation,Ubertragung und Speicherung von elektronisch erzeugter Musik. InKombination mit einem PC reicht ein sogenanntesMasterkeyboard, welchesuber ein 5-poliges Kabeldie Beschreibung des Musikstuckes an die Soundkarte schickt, wo sie dann von einem Synthesizer,ggf. mit Unterstutzung von digital abgelegten Klangsamples, in Tone umgesetzt wird.
Midinachrichten sind Byte-orientiert und werdenuber eine serielle Schnittstelle mit 31250 Bauduber-tragen.
Es wird unterschieden zwischen Status-Bytes und Datenbytes.
Status-Bytes beginnen mit einer1, und enthalten vier Kanalbits, mit denen 16 angeschlossene In-strumente assoziert werden sowie drei Befehlbits, mit denen die in folgender Tabelle gezeigten achtAktionen angekundigt werden konnen.
39
000 Note off schaltet Ton aus001 Note on schaltet Ton an010 Polyphonic Aftertouch Anschlagdruck fur eine Taste011 Control Change Realzeitmeldung, z.B. Lautstarke100 Program Change Instrument/Klangfarbe101 Channel Aftertouch Anschlagdruck fur alle Tasten110 Pitch Bend Auslenkung Tonhohenrad111 Systembefehl z.B. zur Synchronisation
Befehle im Statusbyte
Einem Statusbyte folgen ggf. mehrere Datenbytes. Z.B. gehoren zumNote-On -Befehl zwei Para-meter: Notennummer und Anschlaggeschwindigkeit. Mit 128 Werten konnen mehr als 10 Oktavenabgedeckt werden, eine Klaviertastatur mit 88 Tasten von Subkontra A bis zum funfgestrichenen Cbelegt das Intervall 33 bis 120. ZumNote-Off -Befehl gehoren wiederum Notennummer und Los-laßgeschwindigkeit.
Um den zeitlichen Aspekt beim Abspielen einer Midi-Datei zu rekonstruieren, wird die Zeitachse zusogenanntenTicsdiskretisiert. Z.B. betragt beim Sequenzer Cubasis die zeitliche Auflosung 384 Ticspro Viertelnote. Beim Abspeichern einer Notensequenz werden die Intervalle zwischen den Eventsals sogenannteDelta Timesabgespeichert. Hierzu werden bis zu 4 Bytes verwendet.
<HTML><HEAD> <TITLE>Midi</TITLE> </HEAD><BODY BGCOLOR="#DDDDDD">
<CENTER><H1>Midi</H1><EMBED
SRC="i-left-my-heart-in-san-francisco.mid"HEIGHT=45WIDTH=300AUTOSTART=FALSE
><P> Dateiname: i-left-my-heart-in-san-francisco.mid, <BR>
Gre: 29 KB, Dauer: 2:47 min</CENTER>
</BODY></HTML>
HTML-Seite mit eingebetter Midi-Datei
40
8 Video
8.1 Grundlagen
Aufnahme
• CCD-Kamera (Charge Coupled Device)
• Linsensystem
• Speicherzellen mit Photodiode und Kondensator
• zyklisches Auslesen der Zellen
Wiedergabe
• luftleer gepumpter Glaskolben (Bildrohre)
• Phosphorschicht
• durch Magnetspule abgelenkter Elektronenstrahl
Formate
PAL 768 × 576 25.00 Hz (Halbbilder)NTSC 640 × 480 29.97 Hz (Halbbilder)HDTV 2000 × 1250 50.00 Hz (Halbbilder)Kino 36 × 24 mm Zelluloid 24 HzSuper-8 6 × 4 mm Zelluloid 18 Hz
Aufnahmesignal
Spule
Magnetkern
magnetisches Moment
Magnetschicht
Prinzip der magnetischen Speicherung eines Signals
41
VHS (Video Home System)
• analoge Speicherung auf Magnetband
• Breite: 1/2 Zoll
• Geschwindigkeit: 2.4 cm/sec
• rotierende Videokopfe
• Bild- und Toninformation in Schragspur
• 250 Linien
• zusatzlich Ton in Randspur
12.7 mm
SynchronspurSchr"agspur: Bild + TonL"angsspur: Ton
VHS-Aufzeichnung
Mini-DV
• Digitale Speicherung auf Magnetband
• 500 Zeilen
• 16-Bit-PCM-Ton
• Firewire-Kabel fur Bild, Ton & Steuerung
42
8.2 AVI & Quicktime
Microsoft AVI (Audio/Video-Interleaved) und Apple Quicktime sind Dateiformate zum Speichernund Synchronisieren von Video- und Audioinformationen.
Gangiges Format zum Abspielen von CD-ROM:
• 240× 180 Pixel
• 15 Bilder/sec
• software-komprimiert
<HTML><HEAD>
<TITLE>Quicktime</TITLE></HEAD><BODY BGCOLOR="DDDDDD">
<CENTER><H1>Eingebetteter Quicktime-Film</H1><EMBED
SRC="morphing.mov"WIDTH=240HEIGHT=196AUTOSTART=FALSELOOP=TRUE
><P>Dateiname: morphing.mov, Dauer: 8 Sekunden, Gre: 1 MB
</CENTER></BODY>
</HTML>
HTML-Seite mit eingebettetem Quicktime-Film
Quicktime-Film8 sec, 240 x 180 Pixel, 1.0 MB
43
8.3 Fast AV Master
Videodigitalisierungskarte zur Kompression und Dekompression von Live-Video auf bzw. von derFestplatte in FBAS- und S-Video-Qualitat.
• Eingabe vom Camcorder und Analog/Digital-Wandlung
• Zielformat = MJPEG (Motion JPEG) als AVI-Datei
• Kompressionsrate einstellbar
• Overlay zeigt Video in Echtzeit auf dem Monitor
• Eine Minute Video in VHS-Qualitat belegt etwa 120 MByte
• Video-Ausgabe
• Digital/Analog-Wandlung und Ausgabe auf Videorecorder
Screenshot vom Video-Capture-Werkzeug Fast AV-Master
44
8.4 Adobe Premiere
SchnittsoftwareAdobe Premiere
Editor zum Bearbeiten von Video-Clips:
• verwendete Dateitypen: AVI, MOV, BMP, WAV, PTL
• Zeitleiste mit mehreren Spuren
• Uberblendungen
• Titeleinblendungen
• Bluescreen-Effekte
• Geometrische Transformationen
• Bild- und Audio-Filter
Screenshot vom Videoschneidewerkzeug Adobe Premiere
45
8.5 MPEG
• 25 PAL-Fernseh-Bilder pro Sekunde im Format 768× 576 bei 24 Bit Farbtiefe ergeben einenDatenstrom von 32 MBytes/sec.
• Auf eine CD mit 660 MByte Speicherkapazitat wurde demnach ein 20-Sekunden-Film passen.
• Single-Speed-CD-ROM-Laufwerk mit 1.34 MBit/sec ware um den Faktor 180 zu langsam.
Drei Komponenten tragen zur Datenreduktion bei:
1. Vereinfachung des Video-Signals (Subsampling, Faktor 4),
2. Ausnutzung raumlicher Redundanz (JPEG, Faktor 15),
3. Ausnutzung zeitlicher Redundanz (MPEG, Faktor 3).
Vorher Nachher
Motion Vektor kodiert verschobene Macroblocke
46
8.6 DVD
• MPEG-1 erlaubt maximal 1.5 MBit/sec fur Video- & Audio-Information.Zielmedium: CD-ROM mit 240× 180 Auflosung.
• MPEG-2 erlaubt 2-10 MBit/sec fur Video- & Audio-Information.Zielmedium: DVD mit voller PAL-Auflosung.
Digital VersatileDisc gibt es in mehreren Standards:
• DVD-ROM (Read Only, fur Daten)
• DVD-Video (fur Video)
• DVD-Audio (fur Audio)
• DVD-R (Recordable, fur einmalige Aufzeichnung)
• DVD-RW (Rewritable, mehrfache Aufzeichnung)
Die Speicherkapazitaten werden beeinflusst durch
• SS Single Side
• DS Double Side
• SL Single Layer
• DL Double Layer
Bezeichnung Seiten Schichten Kapazitat SpieldauerDVD-5 SS SL 4,38 GB > 2 Std. VideoDVD-9 SS DL 7,95 GB ≈ 4 Std. VideoDVD-10 DS SL 8,75 GB 4,5 Std. VideoDVD-18 DS DL 15,90 GB > 8 Std. Video
• 720× 576a 25.00 Hz in Europa
• 720× 480a 29,97 Hz in USA und Japan
Obacht: Keine quadratischen Pixel !
47
8.7 RealVideo
Client beginnt mit Abspielen, bevor das komplette Video vom Server eingetroffen ist.
Streaming Video vom RealServer vs1.uni-osnabrueck.de
<HTML><HEAD> <TITLE>RealVideo</TITLE> </HEAD><BODY BGCOLOR="silver">
<center>
<H1>Video on Demand mit 200 KBit/sec Verbindung </H1>
<!-- Videofenster --><EMBED
type = "audio/x-pn-realaudio-plugin"CONSOLE = "rudolf"CONTROLS = "ImageWindow"WIDTH = "280"HEIGHT = "210"AUTOSTART= "false"
><BR><!-- Kontrollfenster --><EMBED
SRC = "rtsp://vs1.rz.uni-osnabrueck.de/public/mmp/mmp2004/oliver/rudolf-280-200.rm"type = "audio/x-pn-realaudio-plugin"CONSOLE = "rudolf"CONTROLS = "All"WIDTH = "280"HEIGHT = "120"
>
</center>
</BODY></HTML>
48
HTML-Seite mit RealVideo-Einbettunguber EMBED-Tag
<HTML><HEAD> <TITLE>Real Video</TITLE> </HEAD><BODY BGCOLOR="silver"><CENTER><H1>Video on Demand mit 200 KBit/sec Verbindung </H1>
<!-- Videofenster --><OBJECT
CLASSID = "clsid:CFCDAA03-8BE4-11cf-B84B-0020AFBBCCFA"WIDTH = "280"HEIGHT = "210"
><PARAM NAME="controls" VALUE = "ImageWindow"><PARAM NAME="console" VALUE = "rudolf"><PARAM NAME="autostart" VALUE = "false"><EMBED
TYPE="audio/x-pn-realaudio-plugin"CONSOLE = "rudolf"CONTROLS = "ImageWindow"WIDTH = "280"HEIGHT = "210"AUTOSTART = "false">
</EMBED></OBJECT><BR>
<!-- Kontrollfenster --><OBJECT
CLASSID="clsid:CFCDAA03-8BE4-11cf-B84B-0020AFBBCCFA"WIDTH ="280"HEIGHT ="110"><PARAM NAME="controls" VALUE="All"><PARAM NAME="console" VALUE="rudolf"><PARAM NAME="autostart" VALUE="false"><PARAM NAME="src" VALUE="rtsp://vs1.rz.uni-osnabrueck.de/public/mmp/mmp2004/oliver/rudolf-280-200.rm"><EMBED
SRC = "rtsp://vs1.rz.uni-osnabrueck.de/public/mmp/mmp2004/oliver/rudolf-280-200.rm"TYPE = "audio/x-pn-realaudio-plugin"CONSOLE = "rudolf"CONTROLS = "ALL"WIDTH = "280"HEIGHT = "110"AUTOSTART = "false">
</EMBED></OBJECT>
</CENTER></BODY></HTML>
HTML-Seite mit RealVideo-Einbettunguber OBJECT-EMBED-Tag
49
URL fur die eingebettete RealVideo-Datei:rtsp://vs1.rz.uni-osnabrueck.de/public/mmp/mmp2004/oliver/rudolf-280-200.rm
URL fur Popup-Player:http://vs1.rz.uni-osnabrueck.de:554/ramgen/public/mmp/mmp2004/oliver/rudolf-512-350.rm
50
8.8 RealProducer
Werkzeug zum Erzeugen von Streaming-Video-Dateien aus AVI-Dateien oder aus Webcam:
• Input-Format = AVI-Datei (*.avi)
• Output-Format = RealVideo-Datei (*.rm)
• Bitrate einstellbar
• Single Rate fur Web-Server (enthalt nur eine Bitrate)
• Sure-Stream fur RealServer (enthalt mehrere Bitraten)
• Vorrang fur Scharfe bzw. fließende Bewegung einstellbar
Screenshot vom RealProducer
51
8.9 Netmeeting
Microsoft Netmeeting
• ubertragt Videodaten einer Webcam
• ubertragt Audiodaten vom Mikrophon
• organisiert Tastatur-Dialog mit Chat-Tool
• erlaubt gemeinsames Zeichnen mit Maus auf Whiteboard
• erlaubt Filetransfer
Screenshot vom Videokonferenzwerkzeug Microsoft Netmeeting
52
9 Multimedia
9.1 SMIL
Mit Hilfe von SMIL (Synchronized Multimedia Integration Language) laßt sich in einer Textdatei(Endung *.smi) das Zusammenspiel von mehreren streaming-fahigen Medien (RealText, RealPix,RealAudio, RealVideo) beschreiben. Der RealServer von RealNetworksubertragt die Medien separat;der RealPlayer mischt sie beim Abspielen gemaß SMIL-Datei.
Streaming Media, synchronisiert mit SMIL(Synchronized Multimedia Inegration Language)
<smil><head>
<meta name="title" content="Goldene Hochzeit"/><meta name="author" content="Oliver Vornberger"/><meta name="copyright" content="(c) 2000"/><layout><root-layout width="384" height="288" background-color="black" /><region id="text_region" left="150" top="30" width="50" height="20"
z-index="2" />< region id="image_region" left="0" top="0" width="384"height="288" /></layout>
</head><body>
<par><text src="zahlen.rt" region="text_region" begin="3s" fill="freeze" /><img src="paar.rp" region="image_region" fill="freeze" /><audio src="glen-miller.rm" clip-end="17s"/>
</par></body></smil>
53
Synchronistation mehrerer Medien durch SMIL
9.2 Pulse3D
Die Firma Pulse3D liefert eine Character-Animation kombiniert mit Text-To-Speech-Konvertierung.Ausgehend von einem 3D-Modell fur den Sprecher wird aufgrund einer Texteingabe eine Gesichts-muskelanimation berechnet, welche von einer synthetisierten Stimme begleitet wird.
Real Time Text-to-Speech von www.pulse3d.com
54
