Frost ® FH Hamburg WS 2001/2002 Medientechnik Fach: Lichttechnik A. Schwarz W. Schamai

frost®

FH Hamburg WS 2001/2002MedientechnikFach: LichttechnikA. SchwarzW. Schamai

Inhalt

• Einleitung• Virtuelles Set

– Entwicklungsgeschichte– Komponenten des Virtuellen Sets– Hardwarebasis vom frost®

-System• Anwendungsbereiche von frost

– Nachrichten– Financial– Sport– Wahlen– Virtuelle Sets

• Die Software• Externes Steuern• frost® Arbeitsablauf• Camera-Tracking• System

– frost® Virtual Studio - Modul• Konkurrenz

FH Hamburg WS 2001/2002MedientechnikFach: LichttechnikA. SchwarzW. Schamai

Das frost® -System

Aktuelle Version: frost® 3.„frost® ist ein hochleistungsfähiges, auflösungsunabhängiges 3D-Graphik-System, das für TV-Liveproduktionen Echtzeit-Grafiken erzeugt und Prozesse automatisiert. Mit externen Echtzeit-Steuerungsmöglichkeiten ist frost® das ideale System zur Erzeugung von Graphiken für Nachrichten-, Börsen- und Sportsendungen und für grafikintensive Animationen, die in der Regel mehrere Character Generatoren, Digital Disk Recorder, DVE-Kanäle und Videoquellen erfordern. frost® rendert 3D-Bilder und Text in Echtzeit. Per Tastendruck auf einem externen Gerät wie einem Touch-Screen werden Daten von Nachrichtenagenturen, aus Sportstatistik-Datenbanken oder von Börseninformationsdiensten verarbeitet. Da man mit frost® dynamische, qualitativ hochwertige 3D-Grafiken und Daten in Echtzeit senden kann, können Sender neue Maßstäbe in puncto gründlicher und umfassender Wahlberichterstattung setzen.“„Hardwarebasis ist die SGI ONYX.“

(Presseinformation von descreet®)

Einleitungzum Inhaltsverzeichnis...

Virtuelles Set

Die Blue-Box Technik ist seit vielen Jahren ein wesentlicher Bestandteil in der Fernsehen Produktion. Bei dieser Technik wird ein Darsteller (z.B. Moderator) vor einer einfarbigen U- oder L-förmigen Wand (meist blau -> “Blue-Box”) aufgenommen (Vordergrundbild). Nun kann dieser mit einer zweiten Bildquelle (Hintergrund von Video- oder Computergrafik) so gemischt werden (die blauen Bildanteile des Vordergrundsignals werden durch das Hintergrundsignal ersetzt), dass der Eindruck entsteht, der Darsteller befinde sich in der Umgebung, die der Hintergrund darstellt.

Nachteile/Probleme: Die Kamerabewegung im Studio hinsichtlich Position, Zoom, Neigung sind bei dieser Technik nicht möglich.Es fehlte also eine Rückkopplung zwischen der Perspektive des Hintergrundbildes und der Kamerabewegung.

Weiterentwicklung: Im virtuellen Studio ist es möglich, den Hintergrund (Studiodekoration, Set) mit Hilfe eines Grafikrechners zu erzeugen und die virtuelle Kamera, also die Kamera, die im Rechner die Szene erfasst, mit der realen Kamera zu synchronisieren. Die Bewegung der realen Kamera werden erfasst und in Steuersignale für die virtuelle Kamera im Computer umgerechnet. Damit kann der perspektivisch korrekte Bildausschnitt, bezogen auf den Vordergrund, berechnet werden.

Entwicklungsgeschichte

zum Inhaltsverzeichnis...

Virtuelles Set

- “klassische” Studioausrüstung (Kameras, Recorder, Monitor...)- ein System zur Erfassung der Kameraparameter (Camera-Tracking)- leistungsfähige Grafikengine, die in der Lage ist, das virtuelle Bild in Echtzeit (50 fps) ensprechend der aus den Kameraparameter ermittelten neuen Perspektive zu berechnen. Immer noch aktuell sind die SGI-Systeme von SiliconGraphics. Heutzutage können aber auch die mittlerweile sehr leistungsfähigen PCs mit gängigen Plattformen wie Windows, Linux (primär aus Kostengründen) nicht mehr außer Acht gelassen werden.- eine leistungsfähige Software, die in Verbindung mit der Grafikengine, die die oben genannten Bedingungen erfüllt. In unserem Fall: frost® virtual studio

Komponenten, die zum Betrieb eines virtuellen Studios benötigt werden:

Reale Kamera

Analyse der Kameraparameter

Nachsteuerung der virtuellen Kamera

BildkombinationSendung/Aufzeichnung

Virtuelle Kamera

Grafikrechner


Hardwarebasis vom frost®-System

Die Hardwaresystem für frost® sind die Rechner-Systeme von SiliconGraphics: - Onyx2 arbeitet als Aufzeichnung/Sendung -Rechner. - die Octane- oder O2-Rechner dienen zur Vorschau im Studio.


Nachrichten

- frost® automatisiert in beliebiger Reihenfolge einen Stapel von OTS-Bildern (Over the shoulders) und Übergängen.- frost® verändert mit 3D Effekten in Echtzeit OTS Kamereinstellungen, Logos and Symbole- frost® automatsiert in Echtzeit einen schnellen Wechsel einer Grafik zu einer vollseitigen nächsten Einstellung mit 3D Effekten.- Mit der Möglichkeit, eine Animation schnell zu verändern, bevor sie on-air geht, frischt frost® durch Einsatz von 3d-Objekten Veranstaltungen auf.

- Fehler oder Änderungen an komplexen Grafiken mit animierten Hintergründen können rechtzeitig am front-end verändert werden.- frost® Schafft und verwaltet den Ablauf von Grafiken in Echtzeit, ohne dass es sich auf die on-air Performance auswirkt.

Anwendungsbereiche von frost®zum Inhaltsverzeichnis...

Financial

frost® kann die typischen Ticker im unteren Drittel generieren: - aktuelle Aktienkurse und animierte Hintergründe, die 3D-Übergänge und live Videos beinhalten.


Sport

Echtzeit-3D-Übergang der Spieluhr-Box in ein Spielerprofil im unteren Drittel, das ein Live-Video oder einen Clip von einem digitalen Recorder erzeugt


Wahlen

- schneller Wechsel von einer parallelen Darstellung zu einer Gewinner-Darstellung bis hin zu einer Übersichtstafel, alles in 3D- frost® automatisiert den Ablauf von mehreren Tafeln die in unterschiedlicher Weise ineinander übergehen. Während dessen werden die Kameraeinstellungen aktualisiert und die Daten live vom Wähler-Nachrichten-Dienst übermittelt.


Virtuelle Sets

Virtuelle 3D- Räume in dem sich z.B. der Moderator befindet, können schnell gestaltet und gewechselt werden. Ein Beispiel von CNA (Channel NewsAsia) siehe unten: Innerhalb von drei Tagen kann der das virtuelle Set komplett gewechselt werden.


Base Features

Die Software

- Integriertes Set von 3D-Werkzeugen, für ein template-orientiertes Gestalten der Sendung.- Kombination von 2D-Stills und –Video mit 3D Objekten.- Laden von mehreren Szenen gleichzeitig (d.h., die Möglichkeit, in Echtzeit von einem Frame in das Nächste - z.B. zwischen zwei Animationen - zu springen)- Plugin für 3D-Studio Character Studio und 3D Studio VIZmax für Import und Export von Geometrien, Texturen und Animationen. frost® kann neben ca. 35 3D-Graphikformaten auch alle von Discreet-Produkten unterstützte 2D-Formate, wie z.B. TIFF, JPEG, Cineon, Targa u.v.a. ohne Konvertierung direkt verwenden. In Zusammenarbeit mit 3d studio max werden Nurbs- und Spline-basierte Oberflächen unterstützt.- 16 Video-Source Input-Möglichkeiten (theoretisch, üblich sind 2 Inputs)- unbegrenztes “undo”- Screenshot Editor

- Direktimport für 3DS, OBJ, FLT, DXF, IV, und VRML Modele

Project-Management

- Bequeme Handhabung in der Verwaltung von Projekten,Templates, Fonts, Texturen und Studio Sets- Integrierter FTP client- Navigieren mit Ordner-Bookmarks


Primitives (Grundformen)

Die Software

- 15 3D-Grundformen (Kugel, Rechteck ect.) zum (einfachen) 3D-modeling, optimiert für Echtzeit Hardware Rendering.- Bis zu 8 light sources = Beleuchtungsmodellen.

Animation

- Möglichkeit zur Beeinflussung der Tesselation, d.h. Veränderung der aktuell nötigen Auflösung. Beispiel: Eine weit entfernte Kugel braucht eine geringere Polygonenanzahl als eine Kugel, die nah bzw. groß dargestellt ist. Würde man jetzt die weit entfernte Kugel näherzoomen, würde sich ihre Auflösung ändern.- Key Frame basierte Animation für 3D-Objekte. Die Animation spielt sich in Keyframes ab, die nacheinander ablaufen.- Lineares und nicht lineares Laden von Animationen ermöglicht z.B. abgebremste oder beschleunigte Bewegungen.- Features wie negate, reverse, snap-to-grid.


Input/Output

Die Software

- 525/625 line ITU-R-601 video out- 525/625 line ITU-R-601 video in - SGI audio (AIFF, MIDI, WAV)- 16:9 HDTV Output Formats: 720/1080i (benötigt SGI HD-GVO)

3d studio max/3D Studio VIZ Plug-In

- Import/Export von Geometrien, Cameras, Lights, Hierarchy, Object-Namen, Texturen und Animationen

- Texturen-Formate: RGB, RGBA, TIFF, BW, und JPEG

- Export der Character Studio-Animationen, Lightscape Files, AutoCAD DWG Drawings (VIZ only),Combustion-Texturen und Adobe Illustrator Files von 3d studio max.

Rendering

- Performer ist geschrieben in C++ und baut auf Open Gl auf. D.h. dieser Renderer ist nur kompatibel mit SGI-Systemen. Eine Anpassung an NT-basierte Systeme ist schwierig.- Echtzeit Performance-Statistiken

- On-Air Rundown Kontrolle über PC (Producer On-Air Suite)


Text

Die Software

- 3D-Text - TrueType Fonts

- Adobe Type 1 PostScript Fonts, zusätzlich Adobe Financial Fonts

- Variables Sizing, Positioning und Kerning

- Automatisches Einpflegen von Text aus einer Datei oder Remote-PC (benötigt „Producer On-Air Suite“)

- Neben ASCII, Unicode werden viele Fremdsprachen unterstützt.

virtual studio

- Vermischen der Computergrafiken und live-Action-Produktion.- Unterstüzt infrarot Camera -Traking.


Der Arbeitsablauf kann z.B. mit einem externen PC gesteuert werden. Dazu dient die Software „Producer on-air suite“ (für Windows). Die Kommunikation zwischen dem frost- Rechner und dem Producer-Rechner geschieht über Ethernet mit Hilfe eines dokumentierten, proprietären Protokolls, TCP/IP-basiert.Es gibt 3 Teichbereiche:

– mit Producer Template Builder können Templates erstellt werden. In diesen ist festgelegt, woher Informationen geholt werden (z.B. Datenbank, Web-Server), oder wo Text, Grafiken oder Animationen positioniert werden. Es beinhaltet Eingabemasken um z. B. Text manuell einzugeben. – mit Producer Playout Manager (für den Control Room) werden die so genannten „rundows“ erstellt, die die Reihenfolge der frost Grafiken bzw. Animationen festlegen.– Producer Graphic Builder dient zur Verwaltung und Einpflegen der frost-Grafiken.

Producer Template Builder Producer Playout Manager Producer Graphic Builder

Externes Steuernzum Inhaltsverzeichnis...

frost® Arbeitsablauf

Gestaltung

vorhandene Datenbank

Internet

aktuelle Reporterbilder

News Room

live Data

Internet

Fremdquellen

DatenbankTemplates

+

Rundowns

Vorschau

Der Arbeitsablauf (s.u. sehr vereinfacht, schematisch dargestellt) für ein Nachrichtenthema könnte z.B. so aussehen: Die Vorbereitungsschritte werden in 2 Bereiche unterteilt: - zum einen wird die Information (in Form von Texten, Berichten) gesammelt und in Moderationstexte verfasst (news room), - zum anderen wird die visuelle Informationen (Bilder, Videoberichte) recherchiert und bearbeitet bzw. das virtuelle Set gestalltet (Grafik-Abteilung).Als Quellen dienen eigene Archive/Datenbanken, Reporter die vor Ort sind, das Internet und fremde Informationsquellen.

Onyx2

Camera

+

Tracking

Octane/O2

Sendung

Vorschau

K

v

v

k



Gestaltung


Internet


News Room

live Data

Internet

Fremdquellen

DatenbankTemplates

+

Rundowns

Sendung

Vorschau

Das gestaltete virtuelle 3D-Set bzw. 3D-Objekte (angenommen in 3d studio max, Auto CAD Lightscape usw.) werden von frost® direkt importiert, oder in frost® gestaltet. Genauso verhält es sich mit den 2D-Objekten wie z.B. Fotos, die in Photoshop bearbeitet worden sind.

Die recherchierten Informationen werden in einer internen Datenbank abgelegt. Mit diesen Informationen werden jetzt die Templates gefüllt und die Rundowns für die Sendung erstellt.

Am Beispiel der Pressemeldungen auf der nachfolgenden Seite wird ersichtlich, dass die Arbeitsabläufe mit frost®-Systemen individuell gestaltet und unterschiedlich gehandhabt werden können.

Onyx2

Camera

+

Tracking

Octane/O2

Sendung

Vorschau

K

v

v

k


CNN benutzte frost® erstmals für die Berichterstattung über die Wahlergebnisse der Vorwahlen in Iowa und setzte dabei zwei frost®-Systeme ein. Der Sender entschied sich für frost® wegen seiner starken und gleichzeitig flexiblen Grundleistungsfähigkeit und seinem hervorragenden Echtzeit-Rendering. CNN und CNN Headline News wollen nun den Einsatz von frost® auf die täglichen Nachrichtenprogramme und auf Sondersendungen ausweiten.

FOX mit maßgeschneiderter Steuerungsschnittstelle FOX setzt frost® mit einer maßgeschneiderten Steuerungsschnittstelle ein, um seine Wahlstatistiken in Echtzeit zu senden. Durch die maßgeschneiderte Lösung können FOX-Mitarbeiter die Anzeige und Auslieferung von Informationen steuern. Sie haben die Möglichkeit, maßgeschneiderte Berichte zu senden und begleitend dazu Bilder und Statistiken einzublenden. Mit Hilfe der maßgeschneiderten frost®-Lösung kann der Sender spezielle Wahlumfragen durchführen, anzeigen, wer in einem Kopf-an-Kopf-Rennen in Führung liegt, und Statistiken über bestimmte Kandidaten einblenden. Die Mitarbeiter können das System zum Beispiel so einstellen, dass ausschließlich die Statistiken der beiden führenden Kandidaten plus begleitende Bilder eingeblendet werden. Um sicherzustellen, dass die Berichterstattung über die Wahlen störungsfrei erfolgen kann, lässt der Sender parallel ein zweites frost®-System als Backup laufen. In Verbindung mit frost® kommen bei FOX auch flint® und flame® rund um die Uhr zum Einsatz, Discreets Systeme zur Erzeugung von Visual Effects und TV-Grafiken, die die gemeinsame Verarbeitung von Bildern ermöglichen. „


„Gemeinsame Nutzung von GrafikenNBC und seine Schwestergesellschaften MSNBC und CNBC haben frost® in ihrem gesamten Produktionsnetzwerk implementiert, um während der in diesem Jahr stattfindenden Wahlen gemeinsam auf Statistiken zugreifen zu können. Dadurch wird doppelte Arbeit vermieden. Die frost®-Lösung ist eine deutliche Verbesserung gegenüber der früheren Methode, bei der die Echtzeit-Einblendung von Wahlstatistiken durch Hardcoding realisiert wurde und bei der das Compositing von Grafiken per Hand erfolgte. NBC, MSNBC und CNBC wollen den Einsatz von frost* auf ihre Nachrichtensendungen und auf ihre Börsenberichterstattung ausweiten. MSNBC setzte seine innovative Echtzeit-Dateneinspeisung erstmals am Silvesterabend während der Berichterstattung über die Milleniumsfeierlichkeiten in aller Welt ein. Die beiden frost®-Systeme zählten die Stunden, Minuten und Sekunden herunter, als die Partybesucher in den Ländern und Städten der unterschiedlichen Zeitzonen den Countdown zum neuen Millenium

verfolgten.

Pressemeldungen von discreet®:



Gestaltung


Internet


News Room

live Data

Internet

Fremdquellen

DatenbankTemplates

+

Rundowns

Onyx2

Camera

+

Tracking

Octane/O2

Sendung

Vorschau

K

v

v

k

Als nächstes werden für die Aufzeichnung/Sendung die frost®-Seite mit dem Moderator bzw. den Kameras in der Blue-Box kombiniert. Üblicherweise (auch aus Kostengründen) werden für die Vorschau im Studio (z.B. für die Kamera-Leute oder den Moderator) Octane- oder O2 -Rechner verwendet, die leistungsschwächer sind und eine viel schlechtere Auflösung bieten. Für die Aufzeichnung/Sendung arbeitet man mit einem leistungsstarken Onyx2-Rechner, der eine sehr gute Auflösung sowie 50 fps in Echtzeit liefern muss.Es werden am Ende zwei Signale geliefert: das VideoSignal und das Key-Signal (dies wird später noch näher erläutert).Die auf der nächsten Seite folgende Skizze zeigt den Arbeitsablauf detailierter, und macht deutlicher, wo genau die Software frost® bzw. Producer On-Air Suite zum Einsatz kommen.



frost® Arbeitsablauf Das Key-Signal wird auf Objekte gelegt, die immer im Vordergrund liegen sollen (z.B. vor dem Moderator). Typische Anwendung dafür ist der „Ticker“, der unten läuft und aktuelle Informationen enthält (z.B. bei NTV die Aktienkurse).

Zu erwähnen ist auch das „Matte“-Prinzip:Wenn beispielsweise der Ausschnitt im Studio größer gewählt werden muss und dabei die Scheinwerfer ins Bild rücken, legt man auf das Vordergrundbild eine Art Maske, um die Scheinwerfer zu verdecken. Diese Maske kann wieder durch den Hintergrund ersetzt werden und bekommt ein Key-Signal.

Mit Hilfe des Tracking-System (einer für virtuelle Studios unverzichtbaren Komponente) erfolgt die Erfassung der Kameraparameter und deren Synchronisation mit der virtuellen Kamera im Computer. In Verbindung mit einem Video Router schaltet die aktuellen Kamera (Vordergrund) von dem Vorschau- Rechner auf den Onyx2 (+Hintergrund) um. Dieses System kann in Form von Hardware oder Software gelöst sein. Auf der Broadcasts Graphics & Virtual Studio Conference in London (29.–30. Januar 2001) wurde ein von der Firma Thoma Filmtechnik zur Verfügung gestelltes System, das darüber hinaus die Funktionsweise des Kameratracking demonstrierte, vorgestellt.Die Funktionsweise des von der Firma Thoma Filmtechnik entwickelten Tracking-Systems, genannt „Walkfinder“, wird auf der nächsten Seite beschrieben. Es basiert auf der Inrarot-Technologie und bietet dem Kamerateam mehr Freiheit im Set.


Camera-Tracking

An der Studiodecke werden intelligente Infrarot-Präzisionskameras installiert, die den Arbeitsbereich der Studiokameras im Blickfeld haben. Auf der Oberseite jeder Studiokamera ist zusätzlich ein sogenanntes "Target" fest montiert. Es besteht aus einer Metallstab-Konstruktion, an deren Enden sich hoch reflektierende Kugeln befinden. Diese Kugeln, auch "Marker" genannt, haben unterschiedliche Abstände auf dem Target. Die geometrische Anordnung ist für jede Kamera unterschiedlich, wodurch jede Studiokamera unverwechselbar identifizierbar ist. Sie ist sozusagen kodiert.

Walkfinder von Thoma Filmtechnik


Camera-Tracking

Die Infrarot-Präzisionskameras senden synchron zum Studiotakt Infrarot Lichtblitze aus, welche die Marker bzw. Targets der Studiokameras reflektieren. Die Reflexe erzeugen in den Präzisionskameras Abbilder der Marker, welche von den Prozessoren der IR-Kameras ausgewertet werden. Auf diese Vorberechnungen folgt eine dreidimensionale Berechnung zur Bestimmung der Lage und Position aller Studiokameras durch die THOMA Workstation. Zusätzlich werden dabei deren Information für ZOOM und FOCUS verarbeitet. Je nach Systemkonifguration erfolgt noch eine weitere Berechnung zur Korrektur der Objektivparameter.Das Ergebnis ist eine präzise Positions- und Lagebeschreibung jeder Studiokamera in acht Freiheitsgraden: X,Y,Z, PAN,TILT,ROLL,ZOOM und FOCUS. Diese Daten werden vom Hochleistungs-Grafikrechner zur Berechnung des Betrachtungswinkels des virtuellen Bildes benötigt. Für Walkfinder sind Drehbewegungen von PAN, ROLL- und TILT-Achsen bis zu 180° in jeder Richtung kein Problem, sofern ein Minimum an Markern für die Präzisionskameras sichtbar ist. Die hohen dynamischen Leistungen dieses Meßsystems sorgen für einwandfreie Ergebnisse in virtuellen Studios - und das in Echtzeit.

Die nächst folgende Skizze zeigt den Aufbau des Module in einem virtuellen Set:

Walkfinder von Thoma Filmtechnik


System

frost® virtual studio - module


frost® virtual studio - module Auf Skizze sind 4 Kameras dargestellt, die das Vordergrundbild liefern. An jeder von ihnen ist ein „Tracker“ angebracht, mit dem die Tracking-Workstation die aktuellen Kamerakoordinaten ermittelt und weiter auf den Onyx2-Rechner gibt. Dieser berechnet die Koordinaten der virtuellen Kamera im virtuellen Raum neu.

Die Kameras sind an die Vorschausystemen angeschlossen (O2- oder Octane- Rechner). Diese liefern das Hintergrundbild mit einer geringen Auflösung, das zur Vorschau dient. Der Onyx2-Rechner liefert den Hintergrund mit der Auflösung, die für die Sendung/Aufzeichnung benutzt wird.

Der Video Router übernimmt das „Vermischen“ des Onyx2-Rechner Hintergrundbildes mit der aktuellen Kamera auf dem Programmonitor und die Umschaltung der anderen Kameras auf die Vorschaumonitore.


Konkurrenz

frost® - Everest™

frost® Everest™

Basis: nur SGI Basis: NT oder Unix, SGI

Render: Performer (bauet auf Open GL auf)NT Anpassung ist schwierig

Render: Open GL (Hardware)(für NT und SGI)

Unterstütz 3D-max (direkter Import) 3D-max Import nur über einen Umweg„Modelexport“ über Wavefront-ormat (* .OBJ )möglich

Externes Steuern: mit der Software „Producer“ Externes Steuern: mit der Software „Pilot“

Im Bereich der TV-Liveproduktionen ist discreeet mit frost® nicht der einzige Anbieter. Der direkte Konkurrent ist zur Zeit Everest™ 3D realtime graphics system von Peak Systems. Die Aufgabenfelder und die Funktionsweise der beiden Systemen ist identisch. Ein paar grundsätzliche Unterschiede sind in der Tabelle unten aufgelistet. Der erste große Unterschied ist die Plattform. Damit sind auch Anschaffungskosten verbunden. Während man die Software Everest™ schon für ca. 15000 Euro erhält, bezahlt man für frost® virtual studio ca. 50000 Euro. Da Everest™ auch auf NT-basierten Plattformen läuft (z.B. mit Windows) wird die Anschaffung von leistungsfähigen PCs 20000-30000 Euro kosten. Im Vergleich dazu steht ein SGI-Rechner, dessen Preis um die 50 000 Euro beträgt.Subjektive Meinungen von Leuten, die mit frost® und Everest™ gearbeitet haben, sind, dass beispielsweise bei frost® die Handhabung der Animationen und deren optische Kontrolle besser zu handhaben ist. Dagegen ist die Oberfläche von Everest™ mit vielen drag&drop - Funktionen ausgestattet, die bequemes und schnelleres Arbeiten ermöglichen.


Documents

Frost ® FH Hamburg WS 2001/2002 Medientechnik Fach: Lichttechnik A. Schwarz W. Schamai