Lichtfeldfotografie - Eine Revolution steht bevor

Martin Hubsch∗

Studiengang Audiovisuelle Medien, Hochschule der Medien Stuttgart

Abbildung 1: Eine Lichtfeldkamera der Firma Lytro (1. Generation)

1 Zusammenfassung

Im Jahr 2012 hat die Firma Lytro die erste, fur den Verbraucherverfugbare Lichtfeld-Kamera auf den Markt gebracht. Eine Techno-logie, die bis dahin nur eine sehr geringe Aufmerksamkeit erhaltenhatte, die aber auf dem Weg ist die Zukunft der Fotografie entschei-dend zu pragen. Das Prinzip der Plenoptik durch ein Mikrolinsen-Array auf einen kleinen Formfaktor anwenden zu konnen war einwichtiger Schritt, um die Marktauglichkeit der Technologie voran-zubringen. Diese ist jedoch zur Zeit durch die nur geringe effekti-ve Auflosung der Lichtfeld-Fotografien noch eingeschrankt und dieNachfrage nach den Kameras halt sich im Verbraucher-Bereich inGrenzen. Im professionellen Bereich sieht dies schon anders aus.Die Lichtfeld-Technik besitzt enormes Potenzial, Film- und Fern-sehproduktionen effizienter zu gestalten und um neue Moglichkei-ten zu bereichern. Auch wenn jetzt schon einige Produkte existie-ren, die von der Lichtfeld-Technik gebrauch machen, werden vor-aussichtlich noch einige Jahre vergehen, bis diese Technologie vol-le Markreife erlangt hat und bereit ist, die Welt der audiovisuellenMedien zu revolutionieren.

2 Einleitung

Die Fotografie hat seit ihren fruhen Anfangen schon viele Verande-rungen durchlebt, eine der großten von ihnen hat sich erst im let-zen Jahrzehnt ereignet, als die digitale Fotografie marktreif wurde.Das digitale Speichern und Bearbeiten von Bildern hat die komplet-te Fotografie-Branche revolutioniert und viele neue Moglichkeiten

∗E-mail: mh276@hdm-stuttgart.de

eroffnet. Doch letztendlich sind alle herkommlichen Fotografien,egal ob auf Film mit einer Camera-Obscura oder digital mit ei-ner modernen digitalen Spiegelreflexkamera geschossen, in einemPunkt gleich: Lichtstrahlen wurden gebundelt und als Punkte auf ei-ne zweidimensionale Flache gebannt. Und obwohl die digitale Re-volution und Programme wie Adobe Photoshop schier unbegrenz-te Moglichkeiten zur Bearbeitung von Fotografien ermoglicht ha-ben, gibt es weiterhin Faktoren, die unveranderlich bleiben. Ist einBild zum Beispiel unscharf, bleibt einem nur darauf zu hoffen, eineweitere, scharfe Aufnahme des Motivs gemacht zu haben. Geradebei Momentaufnahmen und Schnappschussen bleibt man in diesemFall haufig mit leeren Handen zuruck. Doch was ware, wenn manden Fokus eines jeden Bilds nachtraglich mit einem Mausklick neusetzen konnte? Was nach einer utopischen Wunschvorstellung je-des Fotografen klingt, ist durch die Lichtfeld-Technologie bereitsRealitat geworden.

3 Inhalt

Die Ausarbeitung wird die Thematik in folgender Gliederung be-handeln:

• Das Potenzial

• Lytro

• Lytro Workflow

• Auflosung

• Lytro Cinema

• Fazit

• Literatur

4 Das Potenzial

In einer Branche, die sich in den letzten Jahren mehr auf die Verbes-serung aktueller Technologien konzentriert hat, als Innovation undEntwicklung neuer Techniken voranzubringen, besteht das Potenzi-al, dass die Lichtfeld-Technologie eine Revolution einleuten wird.Die plenoptische Fotografie ist der großte Wandel in der Brancheseit der Digitalisierung um die Zweitausendwende.

Abbildung 2: Scharfe-Verlagerung bei Bildern der Lytro (1. Generation)

Die Lichtfeld-Technik bietet viele, noch nie dagewesene Moglich-keiten fur die Fotografie, und noch mehr fur den Film- und Fern-sehbereich. Durch plenoptische Kameras kann die Effizienz jederProduktion immens gesteigert werden, da beinahe jeder Fehler,der am Set geschieht, durch die riesige Menge an Informationenin der Post-Produktion wieder korrigiert werden kann. Besondersfur VFX-lastige Produktionen wird dadurch der gesamte Workflowschneller und kostengunstiger als zuvor, und die Turen stehen offenfur neue Programme, die Lichtfeld-Informationen nativ verarbeitenund so Prozesse weiter beschleunigen und prazisieren konnen.

Abbildung 3: Dual-Kameras des iPhone 7 Plus und HTC One M8

Des Weiteren bietet die Lichtfeld-Technik optimale Voraussetzun-gen fur neue Bereiche der audiovisuellen Medien, wie zum Bei-spiel Augmented-Reality oder 3D- Fotos und Videos. Die 3D-Informationen einer Lichtfeld-Aufnahme konnen dafur genutztwerden, effizient und prazise Virtuelle Objekte und Live-Bilderzu verbinden. Spatestens wenn die Lichtfeld-Technik dann Ein-zug in unsere Smartphones erhalt, werden diese Inhalte die gesam-te Online-Unterhaltungs-Branche und die Sozialen Medien pragen.Dass es sich hierbei nur noch um eine Frage der Zeit handelt, zeigenaktuelle Modelle wie das iPhone 7 Plus von Apple oder das One M8von HTC, die mit 2 ruckwartigen Kameras ausgestattet sind und da-durch Tiefen-Informationen der Aufnahme erhalten, mit denen einekunstliche Unscharfe errechnet werden kann. Ein Funktionsprinzip,das der Lichtfeld-Technik nachempfunden und schon markreif ge-worden ist.

4.1 Lytro

Die erste, fur den Verbraucher-Markt zugangliche Lichtfeldkameraist die Lytro, hergestellt von der gleichnamigen Firma. Sie wurde2012 fur einen Einfuhrungspreis von 480 Euro fur die acht Giga-byte Variante und 580 Euro fur das Modell mit 16 Gigabyte Spei-cherplatz veroffentlicht. Die gunstigere Version bietet Platz fur ca.

350 Bilder wahrend das teurere Modell ca. 750 Bilder fassen kannbevor der Speicher voll ist. Die Kamera hat die Form eines klei-nen Quaders, ist 11,2 cm lang und wiegt 212g. Außerdem ist siemit einem 1,52 Zoll LCD Touchscreen ausgestattet. Die Optik hateinen 8-fachen Zoom und eine Blende von f/2.0. Zwei Jahre spaterhat die Firma ihr aktuellstes Modell, die Lytro ILLUM, vorgestellt.Die Auflosung der Kameras wird in Megarays angegeben und be-schreibt die Menge an Lichtstrahlen, die die Kamera einfangenkann. Die Lytro der ersten Generation lost mit 11 Megarays auf,die neuere ILLUM kann bis zu 40 Megarays einfangen.

4.2 Lytro Workflow

Da ich selbst keine Lichtfeld-Kamera besitze und aufgrund der ge-ringen Nachfrage auch keine Modelle zur Ausleihe zur Verfugungstanden, habe ich im Folgenden zur Beschreibung des Arbeitsab-laufs mit Dateien einer Lichtfeld-Kamera auf Beispiel-Bilder ausdem Internet zuruckgegriffen.

Schon vor dem Download der Bilder fiel auf, dass bei Lytro zwi-schen mehreren Datei-Formaten unterschieden wird. Die unkom-primierten Rohdateien mit der Endung .lap, die direkt aus der Ka-mera entstammen, besitzen noch samtliche Information uber dasLichtfeld, ISO und Weißabgleich sowie sonstige Metadaten. Nachdem diese Bilder mit der firmeneigenen Software importiert wur-den, erstellt diese automatisch komprimierte stk.lfp - Dateien, dieeine schnellere und ressourcensparende Bearbeitung der Bilder zu-sichern sollen. Bei dem neueren Modell der Firma, der Lytro IL-LUM, handelt es sich wiederum um .lfr - Dateien. Dieser Datei-typ unterscheidet sich besonders in seiner Dateigroße zu den .lfp-Dateien der ersten Genration der Kamera. Wahrend ein unkompri-miertes .lfp - Bild der Lytro ca. 16 Megabyte groß ist, betragt dieDateigroße bei der neueren ILLUM ca. 55 Megabyte. Der Grundliegt hauptsachlich bei der ungefahr viermal hoheren Auflosung desneueren Modells. Als Test-Bilder fur meine Arbeit habe ich michfur je drei Aufnahmen von einer Lytro und einer ILLUM entschie-den, die als unkomprimierte Dateien in einem Forum fur Lichtfeld-Fotografie zum Download bereitstanden.

Die Kompatibilitat dieser Dateien ist außerhalb der Software vonLytro sehr eingeschrankt. Sowohl das systemeigene Programm Fo-tos von MacOS als auch die aktuellen Versionen von Adobe Pho-toshop und Adobe Lightroom konnten den Dateityp der Lichtfeld-Fotografien nicht erkennen.

Um die Bilder offnen zu konnen muss also zunachst die LytroDesktop App von der Website des Hersteller heruntergeladen wer-

Abbildung 4: In der Nachbearbeitung lassen sich die Scharfe-Ebene und Scharfentiefe noch verandern

den. Diese verspricht umfangreiche Moglichkeiten zur Bearbeitungund Distribution der Bilder. Grundsatzlich ist die Software sowohlfur Windows als auch fur MacOS erhaltlich, zu diesem Zeitpunktliegt die aktuelle Version 5 jedoch nur fur Windows zum Downloadbereit. Die folgende Beschreibung bezieht sich deshalb auf Version4 der Lytro Desktop App.

Nach der Installation konnte gleich damit begonnen werden, dieBeispiel-Bilder zu importieren. Die Software hat sowohl die .lfp -Dateien des alteren Modells als auch die .lfr - Dateien der ILLUMproblemlos erkannt und angezeigt. Beim direkten Vergleich der Bil-der der verschiedenen Modelle fallt besonders der Unterschied inder Auflosung sofort auf. Die Bilder der alteren Lytro mit 11 Mega-rays wirken sehr grob und beinhalten Artefakte. Die 40 Megaray-Bilder der ILLUM sind angenehmer zu betrachten, wirken aber im-mer noch sehr weich und neigen genau wie die Bilder des alterenModells besonders in hellen Bereichen des Bildes zu Artefakten.Beide Modelle bieten außerdem augenscheinlich eine eher geringeDynamik, was fur Detailverluste in den hellen und dunklen Berei-chen der Bilder fuhrt.

Abgesehen von der Auflosung verhalten sich die Bilder beider Ka-meras also ahnlich. Das Re-Fokussieren in der Software und dasVerandern der Perspektive funktioniert bei beiden Modellen gutund intuitiv. Der Fokus kann neu gesetzt werden, indem man denBereich des Bildes, der Scharf sein soll, mit der Maus anklickt.Die Perspektive lasst sich durch Klicken und halten der Maus indie gewunschte Richtung ziehen. Auch die Bearbeitung norma-ler RAW-Informationen wie dem Weißabgleich verhalt sich wiegewohnt. Erst wenn es um die detaillierte Bearbeitung von Satti-gung, Scharfe und Artefakten geht bietet die neuere ILLUM deut-lich mehr Bearbeitungsmoglichkeiten. Schieberegler fur die Satti-gung einzelner Farbtone, Scharfe-Masken oder zur Reduktion vonAliasing sind nur fur die Bilder der aktuellen Generation verfugbar.

Das Programm bietet daruber hinaus die Moglichkeit, aus den Bil-dern kleine Animationen zu erstellen. Uber Keyframes lassen sichBewegungen der Perspektive und Scharfe-Verlagerungen umset-zen. Das fertige Video kann anschließend wahlweise als h.264oder PNG-Serie mit Frame-Raten zwischen 1 und 60 fps in 2Doder 3D exportiert werden. In diesem Fall macht sich die enor-me Große und Informationsdichte der Dateien erneut bemerkbar.Um eine siebensekundige Animation in Full HD mit hoher Qua-litat auszurechnen sind trotz leistungsfahiger Hardware mehr als20 Minuten vergangen. Außerdem kann das Bild noch als Einzel-Bild mit der selbstgewahlten Scharfe und Perspektive als JPEGoder TIF exportiert werden. Auch bei den JPEG-Dateien kannein 3D-Rot-Cyan-Bild oder ein 3D-Vollfarbbild gewahlt werden.

Mochte man die Original-Bilder anzeigen und in Echtzeit mitder Scharfe und Perspektive spielen, bietet die Anwendung dafureinen Prasentations-Modus. Auch hier lassen sich die jeweiligen3D-Optionen auswahlen. Dieser Modus eignet sich am besten umdie Bilder zu prasentieren, da so die Alleinstellungsmerkmale derLichtfeld-Technik am besten zur Geltung kommen.

Um sich einen eigenen Eindruck von Lichtfeld-Aufnahmen ver-schaffen zu konnen, bietet Lytro eine Online-Sammlung mit zahl-reichen Beispiel-Fotografien an, deren Perspektive und Scharfe-Ebene interaktiv verandert werden konnen:

https://pictures.lytro.com

4.3 Auflosung

Ein großer Nachteil, den die Lichtfeld-Kameras auch in ihrer ak-tuellen Generation weiterhin mit sich bringen, ist die sehr gerin-ge effektive Auflosung der Bilder. Die in Megarays angegebeneAuflosung kann nicht mit den herkommlichen Megapixeln gleich-gesetzt werden. So bieten die 11 Megarays Auflosung bei dem er-sten Modell der Firma Lytro effektiv nur noch etwa 1,2 Megapixelim fertigen Bild. Im neuesten Modell der Firma, der Lytro ILLUM,konnte die Auflosung auf 40 Megarays gesteigert werden, was al-lerdings immer noch mit nur 4 Megapixeln effektiver Auflosunggleichzusetzen ist. Ein Wert, der von jedem aktuellen Smartphoneum ein Vielfaches ubertroffen wird.

Dies hat eine technische Ursache. Bei der Lichtfeld-Fotografienimmt nicht wie bei herkommlichen Sensoren ein Pixel einen Hel-ligkeitswert eines gebundelten Lichtstrahls an, dieser Lichtstrahlwird stattdessen durch eine Mikrolinse vor dem Sensor erneut auf-geteilt und auf mehrere Pixel gestreut. Diese Mikrolinsen sind inForm eines Gitters (Array) vor den eigentlichen Bildsensor gesetzt.Somit sind jeder Mikrolinse aus dem Array eine gewisse Anzahl anPixeln auf dem Sensor zugeordnet.

Daraus ergeben sich zwei charakteristische Vorteile: Erstens liegenvon jedem Lichtstrahl, also von jedem Punkt im fertigen Bild, meh-rere Aufnahmen aus unterschiedlicher Richtung vor, was es erlaubt

die Perspektive des Fotos noch nachtraglich zu andern. Zweitenskann mit Hilfe dieser Richtungsinformationen die Herkunft jedeseinzelnen Lichtstrahls rekonstruiert werden. So ist es im Nachhin-ein moglich, die Scharfe-Ebene im Bild nach Vorne oder Hinten zuverlagern oder die Scharfentiefe selbst zu verandern, um wahlweisedas ganze Bild oder nur einen Teil des Bildes scharf zu stellen.

Die Auflosung des fertigen Bildes ist diesem Fall nun nicht mehrvon der Anzahl der Pixel auf dem Sensor, sondern von der Anzahlder Mikrolinsen davor abhangig. Im Falle der Lytro Kameras giltdas Verhaltnis 1:10. Eine Mikrolinse bricht einen Lichtstrahl alsoauf 10 Pixel des Sensors auf. Die verwendete Einheit Megaray gibtdie Anzahl an Lichtstrahlen wieder, die die Kamera einfangen kann.Im Falle der ILLUM sind dies 40 Megarays, also 40 MillionenStrahlen, die die Kamera durch Auswertung der Richtungsinforma-tionen rekonstruieren kann. Im fertigen Bild kann dann naturlichnur einer der Zehn verwendeten Pixel wiedergegeben werden, wes-halb die effektive Auflosung der Kamera nur 4 Megapixel betragt.

Genau hier liegt offensichtlich der Grund, warum sich die Modellemit Lichtfeld-Technik in den letzen Jahren auf dem Verbraucher-Markt nicht durchsetzen konnten. Dies ist sehr bedauerlich, dadurch die sehr geringen Absatzzahlen fur Lytro nur wenig Moti-vation und Ressourcen bestehen, um die Entwicklung im Verbrau-cherbereich weiter zu treiben und die Kameras in Zukunft zu ver-bessern. In diesem Fall profitiert nur, wer sich zum aktuellen Zeit-punkt fur eine Lichtfeld-Kamera interessiert. Der Preis der LytroILLUM ist von ursprunglichen 1.299 Euro auf mittlerweile ca. 379Euro gefallen.

Abbildung 5: Schematische Darstellung eines Mikrolinsen-Arrays

4.4 Lytro Cinema

Aus diesem Grund hat sich die Firma nun auf den professionellenMarkt konzentriert und vor kurzem eine Kamera fur Kino- und TV-Produktionen vorgestellt. Wer sich etwas mit der Materie befassthat, bekommt bei dem Datenblatt des Modells schnell große Au-gen. Die Lytro Cinema soll es ermoglichen, Bilder mit 755 Megapi-xeln in RAW aufzuzeichnen. Weiterhin soll sie eine Videoauflosungvon 40 K, Frame-Raten bis zu 300fps (in welcher Auflosung istnicht klar) und 16 Blenden-Stufen Dynamikumfang mit sich brin-gen. Parallel dazu sollen die Farb- und Richtungsinformationen je-des einzelnen Pixels im 3 dimensionalen Raum gespeichert werden.Dadurch sollen besonders Prozesse in der Nachbearbeitung profi-tieren, da samtliche Informationen fur die genaue Platzierung von3D-Modellen im Bild bereit stehen. Außerdem soll es moglich sein,nachtraglich die Scharfenebene, die Scharfentiefe, die Perspektiveund sogar Frame-Rate und Verschlusszeit des Videos zu andern. Alldiese Daten benotigen viel Speicherplatz. So soll die Lytro Cine-

ma bis zu 400 Gigabyte pro Sekunde schreiben konnen. Um diesenDatenmengen gerecht zu werden, soll die Kamera uber ein Cloud-System arbeiten. Der genaue Preis der Kamera ist nicht bekannt, al-lerdings kursiert der Preis fur ein Leihangebot von Lytro zu 125.000Dollar, fur welchen Zeitraum ist allerdings nicht klar. Generell stelltsich noch die Frage, wann diese Kamera fur den gesamten Marktzuganglich ist. Alle bisher veroffentlichten Produktionen, die mitder Kamera hergestellt wurden, wurden von Lytro selbst produziert.Außerdem beschranken sich alle zuganglichen Informationen uberdie Kamera und die Technik auf Informationen die die Firma selbstauf ihrer Website oder in Interviews preis gibt.

Abbildung 6: Bild einer Lytro Cinema am Set

Weitere Informationen zur genauen Funktion der Lytro Cinema las-sen sich aus einem Interview mit Jon Karafin, dem Head of LightField Video von Lytro, entnehmen:

https://www.youtube.com/watch?v=4qXE4sA-hLQ&t=754s

5 Fazit

Die Lichtfeld-Technik ist faszinierend. Die Moglichkeit, ein Fotonachtraglich zu Re-Fokussieren, galt bis vor einigen Jahren nochals Utopie. Jetzt ist sie Realitat. Daruber hinaus ist es ein wahrlichinnovativer Schritt in die Zukunft. Innovation, die der Fotografie-Branche in der letzten Zeit gefehlt hat. Nicht zuletzt aus diesemGrund wird die Lichtfeld-Technik die Fotografie zukunftig ent-scheidend pragen. Bis plenoptische Systeme jedoch im vollen Um-fang ausgereift sind, werden noch einige Jahre vergehen. Sehrgeringe Auflosung bei hohem Datenaufkommen und unterdurch-schnittliche Bildqualitat rechtfertigen zur Zeit nur schwer die Vor-teile der Re-Fokussierung und des Perspektiv-Wechsels. Aus die-sem Grund erhalten die aktuell verfugbaren Gerate mit Lichtfeld-Technik nur eine geringe Aufmerksamkeit und werden nur bedingternst genommen. Die vielen potenziellen Moglichkeiten der Tech-nik sind noch zu unklar, vielleicht auch zu vielfaltig. Die Behebungdieser Probleme ist jedoch nur noch eine Frage der Zeit. GroßeVeranderungen kommen meist von unten. Wie eine Revolution.

6 Bildquellen

Abbildung 1:

https://de.wikipedia.org/wiki/Lytro

Abbildung 3:

https://www.teltarif.de/img/arch/2016/kw37/iphone-7-plus-hands-on-test-2f.jpg

Abbildung 2 und 4:

http://lightfield-forum.com/2012/08/lytro-beispielbilder-lfp-dateien-zum-download/

Abbildung 5:

http://photo.yodobashi.com/gear/lytro/camera/lytro_illum/index_e.html

Abbildung 6:

https://www.dpreview.com/files/p/articles/6720444400/IMG_4306.jpeg

Literatur

BOMANCZ, T. 2011. Lichtfelder und Linsen. Master’s thesis,Universitat Stuttgart.

HURLBRUNK, T. 2015. Lichtfeldkameras, eine revolutionare Tech-nik im Bereich Film und Fernsehen? Master’s thesis, HochschuleMittweida.

NG, R. 2006. Digital Light Field Photography. PhD thesis, Stan-ford University.

SCHMIDT, U. 2013. Professionelle Videotechnik, vol. 6. SpringerVieweg.

Lichtfeld. Wikpedia, die freie Enzyklopadie.

Lytro. Wikpedia, die freie Enzyklopadie.

Plenoptische-kamera. Wikpedia, die freie Enzyklopadie.

ZIMMERMANN, S. 2014. 40 megaray: Lytro bringt profi-modelleiner lichtfeldkamera. heise.de.