TECHNISCHE UNIVERSITT MNCHEN Lehrstuhl fr Mensch-Maschine-Kommunikation Echtzeitfhige aktive Stereoskopie fr technische undbiometrische Anwendungen Daniel Modrow Vollstndiger Abdruck der von der Fakultt fr Elektrotechnik und Informationstechnik der Technischen Universitt Mnchen zur Erlangung des akademischen Grades eines Doktor-Ingenieurs genehmigten Dissertation. Vorsitzender:Univ.-Prof. R. Ktter, Ph.D. Prfer der Dissertation:1. Univ.-Prof. Dr.-Ing. habil. G. Rigoll 2.Univ.-Prof. Dr.-Ing., Dr.-Ing. habil. A. Knoll DieDissertationwurdeam17.06.2008beiderTechnischenUniversittMncheneingereichtunddurchdieFakulttfrElektrotechnikundInformationstechnikam 27.11.2008 angenommen. i Vorwort DievorliegendeArbeitistdasErgebnismeinerdreieinhalbjhrigenTtigkeitalsfreierMitarbeiter der Siemens AG in Zusammenarbeit mit dem Lehrstuhl fr Mensch-Maschine-Kommunikation der TU Mnchen. BeimeinemDoktorvaterundLeiterdesLehrstuhls,HerrnProfessorGerhardRigoll, mchteichmichherzlichfrdieBetreuungwhrenddieserArbeitbedanken.Vorallem wei ich es sehr zu schtzen, dass er trotz seiner oft sprbaren Termindichte stets ein offe-nes Ohr fr mich hatte und als Ansprechpartner fr alle aufkommenden Fragen zeitnah zur Verfgung stand. EbensomchteichmichbeidenMitarbeiternderAbteilungfrMachineVision&Nondestructive Testing der Siemens AG in Mnchen-Neuperlach bedanken allen voran bei meinem Betreuer, Herrn Dr. Claudio Laloni, der mich whrend der gesamten Zeit be-gleitete und mit wertvollen Hinweisen und Impulsen mageblich zum Erfolg dieser Arbeit beigetragenhat.AuchdenbrigenKollegenderArbeitsgruppevonHerrnDr.FrankForstergebhrtmeinauerordentlicherDankfrvielewichtigefachlicheDiskussionen und besonders die positive Atmosphre im Arbeitsalltag. Mein Dankgilt jedoch auch noch weiteren Menschen, ohne die diese Arbeit kaum zu ei-nem erfolgreichen Ende htte finden knnen:ErgiltmeinenFreunden,dietrotzmeinerhufigenZurckgezogenheitinderEndphase stetsmitguterLaunebeimirwarenundauchdurchfachfremdeBetrachtungmeinerAr-beitwichtigeDenkanstegelieferthaben.ErgiltmeinerFreundin,diemirwhrendder gesamten Zeit zur Seite stand und auf deren Rckhalt ich auch trotz fehlender Zeit immer zhlen konnte.UndergiltvorallemmeinerFamiliemeinemverstorbenenVater,dessennaturwissen-schaftliche Gene offenbar an mich fielen, meiner Mutter, ohne derenUntersttzung mein StudiumundmeineDoktorandenttigkeitnichtdurchfhrbargewesenwrenundallenbrigenFamilienmitgliedern,derenBeistandstetszusprenwarwasmirsehrvielbe-deutet hat. Ottobrunn, im Juni 2008 Daniel Modrow ii iii Zusammenfassung DieseArbeitbefasstsichmitderdreidimensionalenErfassunggenerischerObjekte.Der SchwerpunktliegtdabeiaufeinerechtzeitfhigenSensorikfrbiometrischeAnwendun-gen,vonderauchtechnischeImplementierungenprofitierenknnen.AlsBasisdientdie aktiveStereoskopie,dieidealeVoraussetzungenfreinberhrungslosesMessverfahren bietet. Es wird ein berblick ber den aktuellen Stand der Technik im Bereich der Tiefen- und Entfernungsmessung gegeben, der auch die Grundlagen fr die neu entwickelten An-stze bereitstellt. Darber hinaus liefert diese Arbeit einen Ausblick auf mgliche Weiter-entwicklungen im Bereich der dreidimensionalen Objekterfassung. iv v Inhalt 1EINLEITUNG .......................................................................................................... 1 1.1Motivation ............................................................................................................ 1 1.2Aufbau der Arbeit ............................................................................................... 2 2GRUNDLAGEN DER DREIDIMENSIONALEN OBJEKTERFASSUNG........................... 5 2.1Grundlagen der zweidimensionalen Bilderfassung .......................................... 5 2.1.1Kamera-Modelle .................................................................................................... 5 2.1.1.1Lochkamera ........................................................................................................... 6 2.1.1.2Linsenkamera ........................................................................................................ 8 2.1.2Sensoren zur digitalen Bilderfassung .................................................................. 11 2.1.2.1CCD-Sensoren ..................................................................................................... 12 2.1.2.2CMOS-Sensoren .................................................................................................. 12 2.1.2.3Farberzeugung ..................................................................................................... 13 2.1.3Kamera-Kalibrierung ........................................................................................... 15 2.2Grundlagen der 3D-Messtechnik ..................................................................... 19 2.3Allgemeine Methoden der 3D-Objekterfassung ............................................. 21 2.3.1Ultraschall-Verfahren und Laufzeitmessung ....................................................... 21 2.3.2Time-Of-Flight .................................................................................................... 22 2.3.3Interferometrie ..................................................................................................... 24 2.4Passive Stereoskopie .......................................................................................... 25 2.4.1Depth from Focus ................................................................................................ 25 2.4.2Shape from Shading ............................................................................................ 26 2.4.3Passives Stereo .................................................................................................... 28 2.5Aktive Stereoskopie ........................................................................................... 32 2.5.1Grundprinzip ........................................................................................................ 32 2.5.2Laservermessung und Lichtschnitt ...................................................................... 33 2.5.3Codiertes Licht .................................................................................................... 36 2.5.3.1Prinzip .................................................................................................................. 36 2.5.3.2Zeitcodierte Verfahren ......................................................................................... 37 2.5.3.3Phasenverschiebung ............................................................................................ 40 2.5.3.4Direkte Codierung ............................................................................................... 42 vi 2.5.3.5Farbcodierte Verfahren ....................................................................................... 43 3SENSOREN ZUR DREIDIMENSIONALEN GESICHTSERFASSUNG ........................... 47 3.1Anpassung des Wellenlngenbereichs ............................................................. 47 3.2Reduktion der Farbkanle ............................................................................... 51 3.2.1Auswirkungen einer Kanalreduktion auf die Codierung ..................................... 53 3.2.2Robustheit gegenber Streinflssen .................................................................. 55 3.3Aktive NIR-Stereoskopie unter Verwendung zweier Wellenlngen ............ 60 3.3.1Erluterung des Prinzips ...................................................................................... 60 3.3.2Erzeugen eines farbcodierten Musters aus zwei Farbkanlen ............................. 61 3.3.3Aufbau einer Projektionseinheit zur infraroten Musterdarstellung ..................... 62 3.3.4Kamera-Seite: Aufbau und Funktion .................................................................. 64 3.3.5Aufbau und Test des Prototypen ......................................................................... 67 3.4Aktive NIR-Stereoskopie unter Verwendung einer Wellenlnge ................. 69 3.4.1Erluterung des Prinzips ...................................................................................... 69 3.4.2Projektions-Seite: Aufbau und Funktion ............................................................. 70 3.4.3Aufbau und technische Daten ............................................................................. 73 3.5Erweiterung und Ergnzung bisheriger Projektionsverfahren ................... 76 3.5.1A-priori-Wissen ber das aufzunehmende Objekt .............................................. 76 3.5.2Datenrekonstruktion und Fehlerkorrektur ........................................................... 77 3.5.3Kalibrierung des Systems .................................................................................... 78 3.6Evaluierung der aktiven NIR-Stereoskopie .................................................... 79 3.6.1Messfehler eines Stereosystems .......................................................................... 79 3.6.2Statistische Auswertung des Messfehlers ........................................................... 83 3.6.3Sampling und Bildrekonstruktion ....................................................................... 85 3.6.3.1Testumgebung ..................................................................................................... 85 3.6.3.2Code-abhngige Rekonstruktionsfehler .............................................................. 86 3.6.3.3Unregelmige Tiefenabweichungen .................................................................. 86 3.6.4Robustheit gegenber Umgebungslicht .............................................................. 91 3.6.5Untersuchung verschiedener Kameratypen ......................................................... 94 4ANWENDUNGSGEBIETE DER AKTIVEN (INFRAROTEN) STEREOSKOPIE ............. 97 4.1Biometrie und 3D-Gesichtserkennung ............................................................ 97 vii 4.2Biologische Analysen ....................................................................................... 101 4.3Multimediale Anwendungen ........................................................................... 103 5ERWEITERTE ANSTZE ZUR AKTIVEN 3D-OBJEKTERFASSUNG ...................... 105 5.1Dynamische NIR-Stereoskopie ....................................................................... 105 5.2Hybride intensittsbasierte Laufzeitmessung ............................................... 108 5.3Radiale Lichtcodierung ................................................................................... 113 5.3.1Grundstzliche berlegungen ........................................................................... 113 5.3.2Mehr-Kamera-System mit kegelfrmiger Beleuchtung .................................... 115 5.3.3Mehr-Kamera-System mit telezentrischer Beleuchtung ................................... 118 6ZUSAMMENFASSUNG UND AUSBLICK ............................................................... 121 bersicht hufig verwendeter Abkrzungen ............................................................... 125 bersicht hufig verwendeter Symbole ........................................................................ 127 Literaturverzeichnis ....................................................................................................... 129 viii 1 1Einleitung 1.1Motivation Das Erfassen dreidimensionaler Daten ist ein Problem, das die Wissenschaft und Technik seit dem Bestehen von Methoden zur Aufnahme von Bildern beschftigt. Die Entwicklung vonVerfahrenzumLsendieserAufgabeistdabeigetriebenvondemWunsch,einefr unsMenschenselbstverstndlicheFhigkeitaufeinetechnischeSchnittstelleeinerMa-schinezubertragen.DenndieserffnetdieChance,eintatschlichesAbbildunserer Umwelt und Realitt zu erzeugen, zu nutzen, zu bearbeiten und zu speichern. Von solchen Techniken profitieren etliche Bereiche der Wissenschaft und Industrie. Drei-dimensionaleModellevonObjektenknnenbeleuchtungs-undrichtungsunabhngigbe-trachtetwerdenunderlaubenvlligneueHerangehensweisenderBildverarbeitungund-nachbearbeitung.FrVerfahrenderindustriellenTeileinspektionetwaknnenFerti-gungsstckedirektmitihrenzugrundeliegendenModellierungenverglichenwerden,die bergabemanuellgefertigterModelleundMusteranRapid-PrototypingSystemekann direkt erfolgen. Aber nicht nur das Erfassen technischer Gegenstnde ist ein Schwerpunkt der dreidimen-sionalenObjekterfassung,sondernauchdieAufnahmeundModellierungdesmenschli-chenGesichts,desKrpers,unsererMimikundBewegungen.VieleBereichederUnter-haltungsindustrienutzenStudiendermenschlichenPhysiognomieundversuchen,diese mglichstgenauzuerfassenodernachzuahmen.SowerdenetwafrAnimationenin SpielfilmenmenschlicheBewegungendurchAufbringenvonMarkernanbestimmten PunktendesKrpersaufgenommenundaufvirtuelleCharakterebertragen.Schwieriger gestaltet sich fr diese Zwecke jedoch die Aufnahme des menschlichen Gesichts. Dabei ist dies fr einen Betrachter der wichtigste Faktor, um knstlich geschaffene Avatare als Ab-bilderderrealenWeltzuerkennenundanzunehmen.DieAuftrittshufigkeitsolchervir-tuellerPersnlichkeitenhatvorallemmitderwachsendenAnzahlanmultimedialenAn-wendungenzugenommen.EswerdenModellierungenvonMenscheninEdutainment-Systemen,Computer-SpielenoderinvollstndigvirtuellenUmgebungendesInternets 2Kapitel 1:Einleitung verwendet,derenerklrtesZielinderTatdieSchaffungeinervollstndigenvirtuellen Realitt ist.AusdenfrUnterhaltungszweckeangewendetenexaktenAbbildungendesmenschlichen GesichtsundKrpersziehenabernochweitereAnwendungeneinenNutzen.Mitdem wachsendenBedrfnisnachSicherheitimglobalenundpersnlichenUmfeldsetzen berwachungssysteme immer hufiger auf biometrische Schnittstellen zur zuverlssigeren Identifikation von Personen. So knnen beispielsweise bewhrte Verfahren, wie etwa die Gesichtserkennung,alleinschondurchdiebloeExistenzdreidimensionalerDatenvon einererhhtenBetrugssicherheitprofitieren.ZudemerffneteineweitereDimension Mglichkeiten fr vollkommen neue Algorithmen und Verfahren, um bisherige Standards verbessern oder bertreffen zu knnen. FralldiezunchstgenanntentechnischenVerfahrenisteinemglichstexakteundge-naue Aufnahme ein wichtiger Punkt. Bei den biometrischen Anwendungen spielt das Auf-nahmeobjektderMenschzustzlicheineentscheidendeRolle.Dennhierbeimssen etliche Punkte beachtet werden: Die Reaktionen auf Messverfahren, die nicht berhrungs-los arbeiten knnen und Haut- oder Krperkontakt erfordern, nicht zu vermeidende Bewe-gungen,eineeventuelleSchdigungenderGesundheitdurchdieeingesetztenVerfahren oderdiepsychischeAuswirkungundAkzeptanzvonvollstndigabbildendenSystemen. Die meisten bisherigen Anstze zur dreidimensionalen Objekterfassung haben diese Punk-te dabei nicht spezifisch behandelt und sind deshalb nur bedingt als biometrische Schnitt-stellen einsetzbar. Das Ziel dieser Arbeit ist die Erforschung von Verfahren, die zum Aufbau eines Systems geeignetsind,dasalsbiometrischeSchnittstellediegezieltedreidimensionaleAufnahme des menschlichen Gesichts und Krpers berhrungslos und mit hoher Genauigkeit ermg-licht.DieentwickeltenTechnikensollendabeijedochnichteinschrnkendodernurspe-zialisiert einsetzbar, sondern ebenso geeignet und vorteilhaft fr viele technische Bereiche undAnwendungensein.EswerdenhierfrbekannteVerfahrenderTiefen-undEntfer-nungsmessungmitderengrundlegendenTheorienuntersuchtunddarausneueMethoden entwickelt,diediedreidimensionaleAufnahmevonObjektenfreinmglichstbreites Spektrum an Anwendungsgebieten ohne groe Einschrnkungen ermglichen. Dabei ent-stehendePrototypenvonSensorenwerdenbekanntenVerfahrengegenbergestelltund hinsichtlich ihrer Leistungsfhigkeit evaluiert. 1.2Aufbau der ArbeitIm zweiten Kapitel werden verschiedene Verfahren zur dreidimensionalen Erfassung von Objekten vorgestellt. Dabei werden die Grundlagen passiver und aktiver stereoskopischer Anstze,aberauchandereVerfahrenzurEntfernungs-undTiefenmessungnherbe-schrieben.GrundstzlicheMethodenundVorgehensweisen,diezurVerarbeitungaufge-Kapitel 1:Einleitung3 nommener Bilddaten ntig sind, werden ebenfalls betrachtet, da diese die Basis fr weitere berlegungen und Entwicklungen bilden. Es wird somit in diesem Kapitel eine bersicht ber die Entwicklungsgeschichte und den Stand der aktuellen Technik dargestellt, um ei-nen geeigneten Einstieg in die dreidimensionale Objekterfassung zu erhalten. DerAufbauvonSystemenzurdreidimensionalenGesichtserfassungistderSchwerpunkt desdrittenKapitels.HierbeiwirddaserklrteHauptzieldieserArbeitimWesentlichen behandelt.EswerdendieentscheidendenFaktorenbetrachtet,diebeiderAufnahmevon GesichternundlebendenPersonenbeachtetwerdenmssen.EntsprechendeGrundlagen und die Reaktionen des menschlichen Krpers auf bestimmte Techniken werden ebenfalls untersucht. Neue Anstze werden anhand der Grundlagen des zweiten Kapitels vorgestellt, derenEntwicklungdabeibeispielsweisedurchneueBeleuchtungstechnikenoderAnpas-sungderVerarbeitungs-undBerechnungsschritteergnztwird.DieErgebnissewerden schlielich in einer Evaluierung geprft und die aufgebauten Prototypen mit technisch ak-tuellen Systemen verglichen. ImviertenKapitelwerdeneinigeAnwendungsgebietederbeschriebenenVerfahrendar-gestellt und Forschungsprojekte prsentiert, an denen im Rahmen dieser Arbeit mitgewirkt wurde.DiesefindensichdabeiinverschiedenenBereichenderWissenschaft,Technik, aber auch der Biologie wieder.EinenAusblickaufweitere,neueAnstzezurdreidimensionalenObjekterfassungbietet dasfnfteKapitel.HierbeiwerdenAnstzevorgestellt,diebishervorgestellteVerfahren dertechnischenoderbiometrischendreidimensionalenObjekterfassungentscheidender-weiternoderverbessern.EswerdendabeisowohlAlternativenderMusterprojektion,als auch die Kombination verschiedener Verfahren und Methoden betrachtet, um die Messge-nauigkeit oder Messfeldgre zu erhhen. ImsechstenKapitelwerdendieErgebnissedieserArbeitdiskutiertundabschlieendzu-sammengefasst. Des weiteren wird ein Ausblick auf themenverwandte, zuknftige Erwei-terungen gegeben. 4Kapitel 1:Einleitung 5 2Grundlagen der dreidimensionalen Objekterfassung DerWunsch,unseredreidimensionaleWeltauchdigitaldreidimensionalabzubilden,be-steht bereits seit den Anfngen der digitalen Bildverarbeitung und ist in vielen technischen Bereichensinnvollundwnschenswert.BesondersindenletztenJahrenwurden,voral-lemaufgrundderimmersteigendenRechen-undSpeicherkapazitten,aberauchdurch immergnstigereBildsensoren,einigeVerfahrenentwickelt,diediesedreidimensionale (3D) Erfassung unserer Umwelt ermglichen. Dieses Kapitel gibt einen berblick ber die Entwicklung dieser Verfahren sowie den aktuellen Stand der Technik einiger bereits tech-nisch oder industriell eingesetzter Methoden. 2.1Grundlagen der zweidimensionalen Bilderfassung DasAufnehmenvonBildern,alsodiezweidimensionaleAbbildungunsererUmgebung, isteinunumgnglicherBestandteilderoptischenMesstechnik.AuchdiegngigstenVer-fahrenzurdreidimensionalenObjekterfassungberuhenindenmeistenFllenaufzweidi-mensionalenAbbildungen.Deshalbisteszwingendntig,dieGrundlagenderBilderfas-sung im Allgemeinen, wie die optischen Eigenschaften der Objektabbildung, und der digi-talen Bilderfassung im Speziellen zu verstehen. Erst dadurch wird eine direkte rechnerge-sttzte Bildverarbeitung mglich. Im Folgenden werden diese Grundlagen beschrieben, so dass im Anschluss daran eine Kamera als Messgert zur 3D-Objekterfassung dienen kann. 2.1.1Kamera-Modelle UmdieDateneinerKameraodereinesbilderfassendenSensorsfranschlieendeBe-rechnungenzugnglichzumachen,mussdieGeometriederKameraoptikunddamitdie Abbildung einer Szene oder eines Objekts auf die Bildebene beschrieben werden. Hierfr 6Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung existierenverschiedeneModellierungen,vondenendiebeidengngigstenimFolgenden beschrieben werden: Das Lochkameramodell und die projektive Kamera (Linsenkamera). 2.1.1.1Lochkamera EinedereinfachstengeometrischenBeschreibungeneinerKameraistdasLochkamera-Modell, oder auch die sogenannte camera obscura. Abbildung 1 zeigt die schematische Darstellung einer Lochkamera. Die Kamera definiert sich durch ihr optisches Zentrum O, welcheseininfinitesimalkleinesLochinnerhalbeinerlichtundurchlssigenSchichtbe-schreibt, durch das allein Licht auf die Bildebene trifft. In diesem optischen Zentrum liegt auch das Zentrum des Kamera-Koordinatensystems (xC, yC, zC), dessen Achsen xC und yC parallelundzCsenkrechtzurBildebeneverlaufen.DerAbstandderBildebenezumopti-schenZentrumistbeschriebendurchdieBrennweitef.DerSchnittpunktderoptischen Achse zC mit der Bildebene definiert das Bildzentrum C, welches wiederum das geometri-scheZentrumdesSensorkoordinatensystems(xi,yi)darstellt.DieBildkoordinatender BildebenewerdendurchdieAchsenuundvbeschrieben.BeidigitalenSensoren(siehe auch 2.1.2) werden diese Koordinatenblicherweise als Pixel (Picture Element) bezeich-netundbeziehensichaufdiediskretePositioneinesBildpunktsinnerhalbderSensorfl-che. Durch das optischeZentrum O erfolgt die Abbildung eines beliebigen Punktes P mit den Koordinaten (xPC, yPC, zPC) auf den Bildpunkt P mit (xPi, yPi). Dies stellt eine perspektivi-sche Projektion des Punktes P dar und gehorcht folgender Beziehung: PCPC Pizxfx=undPCPC Pizyfy= (1) InhomogenenKoordinatenmitMatrixdarstellunglsstsichdieseBeziehungdurchAn-wendung der homogenen Komponente h wie folgt formulieren: Abbildung 1AbbildungsmodelleinerLochkamera.DeroptischePfadverluftdurchdenUrsprungOdesKamerakoordinatensystems(dasLoch)aufdieBildebene,derenAbstandzuOdurchdieBrennweitefdefiniert ist. u v O xC yC zC P (xPC, yPC, zPC) P (xPi, yPi) f xW yW zW xi yi C Ou,v Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung7 (((((

((((

=((((

=((((

10 1 0 00 0 00 0 0PCPCPCPiPiPiPizyxffhyxhh yh x(2) Mit der perspektivischen Projektionsmatrix P ((((

=0 1 0 00 0 00 0 0ffP (3) lsst sich somit die Lochkamera in folgender Matrix-Schreibweise darstellen: C ip P p =(4) Diese Darstellung erlaubt es, die Sensorkoordinaten durch die internen Eigenschaften (in-trinsischeParameter)derKameraandieBildkoordinatenanzupassen.AucheineTrans-formation des Weltkoordinatensystems wird dadurch ermglicht. ZurTransformationderBildkoordinateninPixelkoordinatensindInformationenberdie GredereinzelnenBildpunktebzw.dieAuflsungderKameraunddieMaedesSen-sors erforderlich. Daraus und aus den Koordinaten des Bildzentrums C lsst sich eine neue Projektionsmatrix aufstellen, die eine Translation und Skalierung enthlt. Es gilt dann: ku = horizontale Auflsung (Sensorbreite) kv = vertikale Auflsung (Sensorhhe) ((

=00vuC(5) ((((

= 0 1 0 00 00 000v k fu k fPvu(6) C uvPPp P phvu = =((((

(7) blicherweisefindenKoordinaten-Beschreibungenim WeltkoordinatensystemxW,yW, zW statt.DurchRotationundTranslationlassensichdieverschiedenenKoordinatensysteme transformieren,sodasssichfrdieBildkoordinatenausGleichung(1)durchdieAbbil-dung der Lochkamera folgende Beschreibung in Weltkoordinaten ergibt: 8Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung z PW PW PWx PW PW PWPit z r y r x rt z r y r x rf x+ + ++ + +=33 32 3113 12 11und z PW PW PWy PW PW PWPit z r y r x rt z r y r x rf y+ + ++ + +=33 32 3123 22 21(8) Die Parameter [r11 r33] sind hierbei die Elemente der Rotationsmatrix R, die die relative OrientierungdesKamerakoordinatensystemszumWeltkoordinatensystembeschreibt. Entsprechend bezeichnet der Translationsvektor [tx, ty, tz] den Versatz der Koordinatenurs-prnge zueinander. Eine Lochkamera ist ihrer Theorie nach nicht fokussierend. Das bedeutet, alle Objekte im Sichtfeld der Kamera werden exakt und verzerrungsfrei abgebildet, es gibt keinen Schrfe- und Unschrfebereich. Hierfr wird eine infinitesimal kleine ffnung innerhalb eines infi-nitesimal dnnen Trgermaterials zur Abbildungangenommen, was praktisch nichtreali-sierbarist.WrdemantatschlichdurcheinenmglichstkleinenDurchmesserabbilden, so erfordert dies eine relativ lange Belichtung einer Szene, da nur wenig Licht die ffnung durchdringenkann.Diesfhrtbeinicht-statischenSzenenzwangslufigzuBildfehlern. Zudem wird in der Praxis der sichtbare Bereich durch das Verhltnis des Lochdurchmes-sers und derLochtiefe, also der Dicke des Materials, in welchem sich dasLoch befindet, eingeschrnkt.EinealternativeBeschreibungeinerKameramitgnstigerenBelichtungs-eigenschaften liefert dabei das Modell derLinsenkamera,welches im nchsten Punkt be-schrieben wird. 2.1.1.2Linsenkamera EineLinsenkamera(oftmalsauchprojektiveKamera)istgrundstzlichalseineErweite-rung des Lochkamera-Modells zu verstehen, wobei die, nur theoretisch erreichbare, infini-tesimalkleineLichtffnungdurcheinefesteLinseersetztwird.Dadurchgelangtmehr y b -ffz g P P Abbildung 2AbbildungsmodelleinerLinsenkamera.DieAbbildungseigenschaftenwerdendurchden Schliff der Linse und die daraus resultierende Brennweite f bestimmt.Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung9 Licht auf die Bildebene und die Belichtungszeit kann verkrzt werden, allerdings wird nur noch ein bestimmter Bereich scharf abgebildet. Abbildung 2 zeigt die Modellierung einer Linsenkamera.Der Zusammenhang zwischen der Gegenstandsweite g, der Bildweite b und der Brennwei-te f wird hierbei durch die Linsengleichung beschrieben: g b f1 1 1+ =(9) Wird ein Punkt unscharf auf die Bildebene abgebildet, so entsteht kein Bildpunkt, sondern ein Bildfleck, der so genannte Unschrfekreis. Der maximal zulssige Durchmesser dieses KreisesbestimmtdabeidenSchrfebereicheinerLinsen-Kamera.Wiegrodieserinder Praxisseindarf,hngtvomangeschlossenenBildsensorbzw.derAnwendungab.Abbil-dung 3 verdeutlicht den Zusammenhang zwischen der Objektentfernung und der Unschr-fe. Neben dem Durchmesser d des Unschrfekreises haben zudem die Blendeneinstellung k mit ihrem ffnungsdurchmesser D und die Brennweite f einen Einfluss auf den Schrfe-bereich. Es gilt: Dfk = (10) max maxbDb bd= (11) Abbildung 3BestimmungdesSchrfebereichseinerLinsenkamera.Dieminimale(bmin)undmaximale (bmax) Bildweite b wird durch den Durchmesser des Unschrfekreises (d) festgelegt, woraus die Grenzen fr die Entfernung eines Gegenstandes g [gmin, gmax] festgelegt werden, die den Schrfebereich begrenzen. y z bg Schrfebereich gmin gmax d D/2 -D/2 bmax bmin 10Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung min minbDb bd= (12) Hieraus folgt: ( )( ) f g gg g ff gg ff gg ff gg fbb bDd===maxmaxmaxmaxmaxmaxmaxmax(13) ( ) f g k d fg fg =22max(14) ( )( ) f g gg g ff gg ff gg ff gg fbb bDd===minminminminminminminmin(15) ( ) f g k d fg fg +=22min(16) NebendemdefiniertenSchrfebereichknnenbeiObjektivenfrLinsen-Kamerasinder PraxisweitereEffekteauftreten,diezuBildverflschungenfhrenknnen.Dieserhren daher,dassdieLinsengleichungenprinzipiellnurfrLichtstrahlengelten,diedichtund nahezuparallelzuroptischenAchseverlaufen.DieaufflligstenVerflschungenhierbei sind Farbfehler (chromatische Aberrationen) und Verzeichnungsfehler (monochromatische Aberrationen,radialeVerzerrungen).ChromatischeAberrationentretenauf,daLichtun-terschiedlicherWellenlngeeinunterschiedlichesBrechungsverhaltenzeigt,welchesin Objektiven nur unzureichend oder mit erheblichem Aufwand korrigiert werden kann. Eine komplette optische Korrektur ist in der Praxis nicht zwingend notwendig, da der Einfluss chromatischerAberrationenminimalistundvommenschlichenAugekaumwahrgenom-men werden kann.VerzeichnungsfehlerhingegenfhrenzunichtlinearenVerzerrungeneinesBildes,wo-durch sich Objektabstnde, Winkel, etc. gegenber dem Original stark verndern knnen. Die Hauptursache fr Verzeichnungsfehler liegt in der geometrischen Position der Blende [Schrder1998],alsodemTeileinesObjektivs,durchwelchesderLichteinfalldesopti-schen Systems geregelt werden kann. Befindet sich die Blende vor dem abbildenden Sys-tem, so lassen sich tonnenfrmige Verzerrungen beobachten. Liegt sie dahinter, so entste-hen kissenfrmige Verzerrungen. Der Effekt dieser radialen Verzerrungen lsst sich gem Gleichung (17) folgendermaen beschreiben (u.a. [Slama et al. 1980]): Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung11 ( ) ...4221+ + + = r r x x xd d u ( ) ...4221+ + + = r r y y yd d u (17) ( )2 2 2d dy x r + = (18) IndiesenGleichungenbeschreibenxuundyudieverzerrungsfreien(undistorted)Sensor-koordinateneinesBildpunktes,wieervoneineridealenLinseabgebildetwerdenwrde. Dagegen bezeichnen xd und yd die tatschlich abgebildeten (verzerrten, distorted) Koordi-naten des Punktes. Der Koeffizient i definiert hierbei die Art der Verzerrung ein positi-verVerzerrungskoeffizient i stehtfreineTonnenverzerrung,einnegativesi freine Kissenverzerrung, so wie sie in Abbildung 4 dargestellt sind. Fr die meisten Anwendun-gengengteineBeschreibungderGleichungmitdemerstenFaktor1freinehinrei-chende Entzerrung eines Bildes. Hierfr mssen im Vorfeld mittels einer Kalibrierung der Kamera, wie unter Abschnitt 2.1.3 beschrieben, die einzelnen Faktoren bestimmt werden. 2.1.2Sensoren zur digitalen Bilderfassung MchtemanoptischeObjektabbildungeninirgendeinerFormdigitalweiterverarbeiten oderspeichern,somssendieaufdieBildebeneabgebildetenInformationenerfasstwer-den.HistorischgesehenbeginntdiedigitaleBildaufnahme1923mitderErfindungdes Ikonoskops,welchesdenerstenelektronischenBildabtasterdarstellteunddiemechani-schenAbtastverfahrenablste.DieseEntwicklungsetztesichberdasaufRhrenbasie-rende Vidicon Ende der 50er Jahre fort. In der heutigen Zeit teilen sich den Massenmarkt Sensortypen, die auf dem inneren photo-elektrischen Effekt basieren. In bestimmten Halbleitern bewirkt die Bestrahlung mit Licht, dassElektronendurchdieEnergiederPhotonenvomValenzbandindashhergelegene Verzerrungsfreie AbbildungKissenfrmige VerzerrungTonnenfrmige Verzerrung Abbildung 4Mgliche Abbildungsverzerrungen durch eine Linse. Ein Gitter erscheint so bei einer ton-nenfrmigen Verzerrung gewlbt, bei einer kissenfrmigen Verzerrung gestaucht. Diese Verzerrungen kn-nen mittels einer Kalibrierung bercksichtigt und somit zu verzerrungsfreien Bildern rckgerechnet werden. 12Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung Leitungsbandgehobenwerden,wodurchdieLeitfhigkeitdesMaterialszunimmt.Nach diesem Verfahren kann einfallende Lichtintensitt gemessen werden. Dennoch unterschei-den sich die zwei am verbreitetsten Sensortypen grundlegend in ihrem inneren Aufbau. 2.1.2.1CCD-Sensoren Ein typischer CCD-Sensor (Charge-Coupled Device) lsst sich am anschaulichsten als ei-neMatrixauslichtempfindlichenFotodiodenbeschreiben,diedurcheineelektronische Verschaltung gezielt ausgelesen werden knnen. Ein einzelner Sensor besteht also aus vie-lenlichtempfindlichenElementen,denPixeln.JedesdieserPixelistinderLage,gem den Grundlagen des photoelektrischen Effekts Photonen einzufangen, in elektrische La-dungumzuwandelnundzuspeichern.DieMengedergespeichertenEnergieistdabeidi-rektproportionalzumeinfallendenLichtamOrtderFotodiode.Nacheinerbestimmten Belichtungszeit werdendieseLadungen schlielich nach dem Prinzip eines Schieberegis-tersineinenA/D-Wandlerverschoben,ausgewertetunddasErgebnisalsdigitalesBild bertragen.JedemPixelwirddabeieindiskreterWertzugeordnet,derentsprechendder zugrundegelegtenFarbtiefeinGraustufeninterpretiertwerdenkann.DieAufnahmevon Farbbildernwirdunter2.1.2.3beschrieben.DieWertederGraustufensteigenannhernd linearmitdereinfallendenLichtintensittan.DieSensorbausteinewerdenblicherweise ausSiliziumgefertigt,welcheseinespektraleEmpfindlichkeitvon350-1000nmbesitzt und somit das Spektrum des fr den Menschen sichtbaren Lichts voll abdeckt. Weiterfh-rende Informationen ber den Aufbau und die Technik von CCD-Sensoren finden sich un-ter anderem in [Jhne 2002] oder [Klumann and Wiegelmann 2005]. 2.1.2.2CMOS-Sensoren DasFunktionsprinziptypischeractivepixel-Sensoren(APS),allgemeinalsCMOS-Sensoren(ComplementaryMetalOxideSemiconductors)bezeichnet,beruhtwiebeiden zuvorbeschriebenenCCD-SensorenaufdemEinsatzlichtempfindlicherHalbleiterkom-ponenten.EinSensorbestehtinseinemAufbaualsoausvieleneinzelnenlichtempfindli-chen Pixeln. Der groe Vorteil der CMOS-Technik ist dabei die Mglichkeit, zustzliche Komponenten im gleichen Schaltkreis zu integrieren, in dem sich auch die Bildpunkte be-finden. So kann jedes Pixel etwa seinen eigenen Verstrker zur Ladungsbertragung besit-zen, was ein Schieberegister obsolet macht und das direkte Auslesen jedes einzelnen Bild-punkteserlaubt.DiesesVorgehenbeispielsweisebietetdenVorteil,dassCCD-typische Bildfehler,wiedasberblendeneinzelnerPunkte,verhindertwerdenknnen.Allerdings bentigt die Integration zustzlicher Elektronik auch zustzlichen Platz auf der Sensorfl-che,waszueinerVerringerungdereffektivenPixelgreunddamitverbundeneinerge-ringerenLichtempfindlichkeitfhrenkann.EineMglichkeit,diesenEffektauszuglei-chen, bietet hier beispielsweise der Einsatz von Mikrolinsen. Auch bietet die fortlaufende WeiterentwicklungderCMOS-TechnikeinebestndigeVerbesserungderSensorenund bietet zudem die Mglichkeit der direkten integrierten Datenverarbeitung auf dem Sensor, beigeringeremGesamtenergieverbrauchundschnellerenAuslesezeiten.NhereInforma-Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung13 tionenundweiterfhrendeLiteraturzurTechnikvonAPSundCMOS-Sensorenfindet sich unter anderem in [Yadid-Pecht and Etienne-Cummings 2004]. 2.1.2.3Farberzeugung NachDIN5033istFarbediejenigeGesichtsempfindungeinesdemAugedesMenschen strukturlos erscheinenden Teiles des Gesichtsfeldes, durch die sich dieser Teil bei einugi-ger Betrachtung mit unbewegtem Auge von einem gleichzeitig gesehenen, ebenfalls struk-turlosen angrenzenden Bezirk allein unterscheiden kann [DIN 1992]. FarbeistalsokeinephysikalischeEigenschaft,sonderneineSinnesempfindung,einsub-jektiver Eindruck, der entsteht, wennLicht bestimmter Wellenlngeaufdie Netzhaut des AugesflltunddortspezielleSinneszellenanregt.DerfrdenMenschensichtbareWel-lenlngenbereich liegt zwischen 380nm und 780nm, wobei dieser von Individuum zu Indi-viduumvariierenkann.DielichtempfindlichenRezeptorenaufderNetzhautteilensich dabei in Stbchen und Zapfen auf. Letztere sind fr den Eindruck von Farben verantwort-lich, whrend die Stbchen nur Hell-Dunkel-Kontraste wahrnehmen knnen. Es existieren drei spektral unterschiedlich absorbierende Zapfenarten in der Retina, die jeweils fr ver-schiedene Wellenlngenbereiche empfindlich sind [Hauske 1994]. Diese Farbwahrnehmung verschiedener Kanle, bzw. Wellenlngenbereiche, ist die Ursa-chefrdieEinteilungdessichtbarenLichtsindiedreiGrundfarbenRot,GrnundBlau gemdertrichromatischenFarbentheorie.VonderCommissionInternationalede lEclairage (CIE) wurden den Grundfarben folgende Wellenlngen zugeordnet: Rot = 700,0nmGrn = 546,1nmBlau = 435,8nm ImGegensatzzummenschlichenFarbempfindenistesnichtmglich,Farbbilderbzw. verschiedeneWellenlngendirektmiteinemeinzelnenlichtempfindlichenSensoraufzu-nehmen.DieserkannlediglichdiegesamteinfallendeLichtintensittmessen,welchenur bedingtvondereinfallendenWellenlngeabhngt.EsgibtjedochverschiedeneVerfah-ren,dieeineFarberzeugungermglichen.Diebekanntesteundamweitestenverbreitete Methode ist die Verwendung des Bayer-Filters (Abbildung 5 (1)). DieEntwicklungdesnachBryceE.BayerbenanntenFiltersinden70erJahren[Bayer 1976]basiertaufdemdamaligenWissenberdiemenschlicheFarbwahrnehmungund orientiert sich am YUV-Farbraum. Dabei sttzt sie sich auf die Tatsache, dass sich in einer kleinen rumlichen Umgebung keine groen oder pltzlichen Farbnderungen vollziehen. FolglichwirdaufdenBildsensoreineMaskeausBandpassfilterngelegt,sodassjeder Bildpunkt nur fr eine der drei Grundfarben empfindlich ist. Ein Algorithmus interpoliert daraus fr jedes einzelne Pixel nach der Bildaufnahme aus den Nachbarpunkten die beiden fehlendenGrundfarben,sodassdurchnachtrglicheMischungderEindruckeinesFarb-bildesentsteht.DiesesVerfahrenliefertaugenscheinlichguteErgebnissebeiderAbbil-dung der Umgebung, reduziert abergrundstzlich die effektiv zur Bilderfassunggenutzte Anzahl der Pixel, da 50% der Pixel grne und jeweils 25% rote und blaue Bildinformatio-14Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung nensammeln.KeinPixelerhltalsodurchdieAufnahmeseinerealeFarbinformation. DennochwerdendurchdiegeringenFarbunterschiedeinnerhalbeinerrumlichderart kleinen Umgebung im resultierenden Bild kaum Verflschungen vom menschlichen Auge wahrgenommen. Andersverhltsichdiesbeiaktuellen,neuerenMethodenderdigitalenBilderfassung. Dies ist zum einen die getrennte Anordnung und nachtrgliche Datenkombination von drei Bildsensoren, auf die jeweils nur eine der Grundfarben abgebildet wird (Abbildung 5 (2)). Somit kann jeder der Sensoren seine volle Pixelanzahl nutzen, das endgltige Bild enthlt die volle Auflsung jedes der 3 Teilbilder (z.B. [Panasonic 2007]). Zumanderenistesmglich,Sensorenzubauen,diePhotoneninverschiedenenSchicht-tiefen auslesen knnen und sich dabei die Eigenschaft zunutze machen, dassLicht ver-schiedenerWellenlngenverschiedentiefinbestimmteMaterialieneindringt.Vonder Firma Foveon ([Merrill 1999], [Turner et al. 2005]) wurde nach diesem Prinzip ein Sensor (1) (2)(3) Abbildung 5MethodenderFarberzeugungauflichtempfindlichenSensoren.Ein-Chip-Variantemit Bayer-Filter(1), 3-Chip-VariantemitPrismenzurFarbverteilung(2)undSensorderFirmaFoveon(3)mit hintereinander liegenden, farbempfindlichen Schichten. Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung15 entwickelt,derebenfallsfrjedenBildpunktdievolleFarbinformationallerdreiKanle erfassenkann(Abbildung5(3)).EineidealeLsungfrdasProblemderFarberfassung bietenjedochbeideVerfahrennicht.DurchdieAufnahmeverfahrenknnenzwarvolle SensorinformationenfrjedeGrundfarbeausgelesenwerden.Allerdingsmusssowohl durch die optischen Pfade des 3-Chip-Designs, als auch durch die verschiedenen Eindring-tiefenmitHelligkeitsverlustenderjeweiligenKanlegerechnetwerden,sodassdieGe-samtempfindlichkeit des Sensors abnehmen kann. 2.1.3Kamera-Kalibrierung DaalleMethodenderBildverarbeitungaufderexaktenAuswertungundAnalysevon Bilddatenbasieren,isteszwingendnotwendig,unverzerrteAbbildungenderUmgebung zu erhalten. Dies betrifft vor allem radiale Verzerrungen, die sich am deutlichsten in einer VerflschungvonSeitenverhltnissen,Abstnden,Krmmungsverhalten,etc.bemerkbar machen. EineKalibrierungdientdabeidazu,dieintrinsischenParametereinerKamera,sowiedie VerzerrungsparameterihrerOptikzubestimmen.DieKamerakalibrierungnachTsaigilt als Standard und wird hierfr hufig verwendet [Tsai 1987]. In (vor allem fr Projektions-einheiten)erweiterterFormfindetsieauchindieserArbeitAnwendung,dasieeinegute Balance zwischen Exaktheit und Rechenaufwand herstellt. DieKalibrierungbasiertaufderperspektivischenProjektioneinerLochkameraundbe-rcksichtigteineradialeLinsenverzerrungersterOrdnung.Nebendendurchdietechni-schen Eigenschaften des Kamerasensors bestimmten Werten Anzahl der Sensorelemente in x- bzw. y-Richtung: xN ,yN Mae eines Sensorelements in x- bzw. y-Richtung: xd ,ydbestehtTsaisKameramodellaus11zubestimmendenParametern,diesichin5intrinsi-sche (interne) und 6 extrinsische (externe) Kameraparameter aufteilen. Diese sind: Interne Parameter: Die effektive Brennweite der Kamera: kfDer Verzerrungskoeffizient erster Ordnung: 1Das optische Bildzentrum:( )y xC C C , =CistdefiniertalsderSchnittpunktderoptischenAchsemitderBildebene,sowie zugleichalsdasZentrumderradialenVerzerrung.Annherungmittels: ((

= = = 2,2yyxxNcNc C16Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung Der Skalierungsfaktor: xsDieserdienteursprnglichzumAusgleichvonSynchronisationsfehlernimanalo-gen Videosignal in heutigen Digitalkameras kann dieser Faktor nahezu vernach-lssigt werden. Externe Parameter: Die drei Rotationsparameter: xR ,yR ,zRDies sind die drei Eulerwinkel und entsprechen respektive den 9 Eintrgen der Ro-tationsmatrixRausGleichung(8),beschreibenalsodieOrientierungderKamera relativ zum Weltkoordinatensystem. Die drei Translationsparameter: t = xt ,yt ,ztDiessinddiedreiVerschiebungsparameterausGleichung(8),diedieLageder Kamera relativ zum Weltkoordinatensystem beschreiben. DieinternenParameterbeschreibenalsodieAbbildungseigenschaftenderKamera,wh-rend die externen Parameter die Lage und Orientierung der Kamera im Raum definieren.ZurDurchfhrungderKalibrierungwirdeinKalibrierkrpermitMarkierungenbentigt, deren exakte Anordnung und Position relativ zueinander bekannt sein mssen. Diese Mar-kenknnenentwederrumlichangeordnetseinoderineinerEbene(coplanar),wasdie praktikablereLsung ist (siehe auch Abbildung 6). Die Koordinaten derKalibriermarken definieren dabei das Weltkoordinatensystem und sollten so gewhlt werden, dass der Urs-prung nicht in der Nhe der Sichtachse der Kamera liegt. Auerdem kann durch die benut-zerdefinierte Wahl der Koordinaten und die Lage der Marken in einer Ebene fr alle Punk-te zW = 0 gesetzt werden, so dass alle Marken in der xWyW-Ebene liegen. DieeigentlicheKalibrierungbasiertschlielichaufeinervierstufigenBeschreibungder digitalen Bilderfassung. Stufe 1: bergang von Welt- zu Kamerakoordinaten Ergebnis:R, t DerZusammenhangzwischendenWelt-undKamerakoordinatenwurdebereitsinGlei-chung (8) beschrieben, so dass sich folgende Beziehung ableiten lsst: ((((

+((((

((((

= +((((

=((((

ZYXWWWWWWCCCtttzyxr r rr r rr r rtzyxRzyx33 32 3123 22 2113 12 11(19) Stufe 2: Transformation der Kamerakoordinaten in ideale, unverzerrte (undistorted) Sensorkoordinaten Ergebnis: kfKapitel 2:Grundlagen der dreidimensionalen Objekterfassung17 DiesemSchrittliegtdiebereitsbeschriebeneidealeperspektivischeProjektionzugrunde, die folgenden Zusammenhang festlegt: CC kuzx fx = undCC kuzy fy =(20) Stufe 3: Radiale Linsenverzerrung Ergebnis: 1Gem Gleichung (17) lsst sich die radiale Linsenverzerrung bestimmen, wobei aufgrund seinerGewichtungderersteVerzerrungsparameterdengrtenEinflussausbt.Esgilt also: u X dx D x = + undu Y dy D y = + (21) mit( ) ...4221+ + = r r x Dd X und ( ) ...4221+ + = r r y Dd Y (22) 2 2d dy x r + = (23) Stufe 4: Transformation der Sensor- in Pixelkoordinaten DergrundlegendeZusammenhangzwischenSensor-undPixelkoordinatenlsstsichlaut Tsai beschreiben durch: xxd xCdx su + = undyydCdyv + =(24) DainunseremFallaufgrunddesEinsatzeseinesdigitalenSignalssx=1angenommen werden darf, vereinfacht sich diese Beschreibung fr die Parameter u und v zu: xxdCdxu + = undyydCdyv + =(25) Zur tatschlichen Kalibrierung werden die Aufnahmen einer Kalibriertafel betrachtet, wie sie in Abbildung 6 dargestellt sind. Wichtig sind dabei mglichst verschiedene Ansichten, so dass unterschiedliche Orientierungen vorhanden sind. Die Marken des Kalibrierkrpers und ihre Abstnde zueinander mssen mglichstexakt bekannt sein, da auf diesen Daten die Kalibrierung der Kamera aufbaut. Die eigentliche Kalibrierung schlielich folgt den eben beschriebenen Stufen in rckwr-tigerReihenfolge.Sieistvorallemdeshalbmglich,daallezulsendenGleichungssys-teme durch die hohe Anzahl der zur Verfgung stehenden Kalibriermarken berbestimmt sind. Der Vorgang basiert auf einer Detektion der Kalibriermarken und beginnt mit deren Positionsbestimmung in Pixelkoordinaten u und v. Die durch die verschiedenen Stufen der KalibrierungermitteltenDatendienenalsGrundlagezurFormulierungeinerrelativen FehlerfunktiondesKalibrierergebnissesinAbhngigkeitderermitteltenParameter,die durch Standard-Optimierungsverfahren minimiert wird. Dabei sind mehrfacheIterationen 18Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung desKalibriervorgangsmitKombinationenvonAufnahmenverschiedenerPerspektiven ntig, um die Ergebnisse der Kalibrierung zu verfeinern und verbessern. Der kleinste Ka-librierfehler liefert sodann die beste Annherungder Modellparameter (siehe hierzu auch [Faugeras 1993] oder [Hartley and Zisserman 2000]). Es existieren auch weitere Alternativen der Kamerakalibrierung, die im Verlauf der letzten Jahre entwickelt und verfeinert wurden. Zu nennen ist hier unter anderem die Kalibrierung nach Zhang [Zhang 1998], die durch die freie Verfgbarkeit in der Intel Computer Vision Library(ICV)hohePopularitterlangthat.Sieerlaubt,wiedieMethodenachTsai,eine Kalibrierung unter Verwendung einer planaren Kalibrierplatte mit bekannten Markern und kombiniert hierfr mindestens zwei verschiedene Aufnahmen, um die bentigten Kamera-parameter zu ermitteln. Abbildung 6VerschiedeneAnsichteneinerKalibriertafel.AnhandderPositionderQuadratekanndie LagederTafelundsomitdieLagederaufnehmendenKameraimRaumbestimmtwerden.Dieexakten Koordinaten und Abstnde auf der Tafel mssen hierfr im Vorfeld bekannt sein. Die weien Quadrate die-nen der Zuordnung der Kalibriermarken zu ihren bekannten Positionen. Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung19 2.2Grundlagen der 3D-Messtechnik Spricht man von 3D-Messtechnik, so ffnet man ein breites Feld verschiedener Messver-fahrenfrunterschiedlichsteAnwendungen.Deshalbisteszunchstwichtig,genauzu definieren, fr welchen Bereich einer 3D-Objekterfassung welche Art von Sensorik geeig-netist.DieindieserArbeitbesprochenenVerfahrenbeziehensichallesamtaufberh-rungslose Messverfahren mit einem Arbeitsraum im Nahbereich des Sensors und sind so-mitfrOrientierungssensoriken,exakteOberflchenvermessungenkleinererVolumina, vor allem aber fr einen Einsatz als Mensch-Maschine-Schnittstelle geeignet. In der Natur bestehensolcheVerfahrenseitJahrmillioneneinigeTierehabenspezielleRezeptoren zurErfassungihrerUmgebungentwickelt,wiebeispielsweiseFledermuse,dieUltra-schall nutzen. Andere knnen sich, wie auch wir Menschen, optisch in unserer dreidimen-sionalenWeltorientieren,wasalsrumlichesoderauchStereo-Sehenbezeichnetwird. DerVersuch,dieseVerfahrenauftechnischeSystemezubertragen,stellteinenAnsatz zur Entwicklung von Systemen zur 3D-Vermessung dar, welcher im weiteren Verlauf die-ses Kapitels betrachtet wird. EinenetwasanderenAnsatzverfolgtdiedirekteAnwendungderGeometrie,ausderdie Triangulationentstandenist.DiesisteinVerfahren,dasbereitsimMittelalterzurAb-schtzung und Vermessung von Entfernungen verwendet wurde. Als ihr Entdecker gilt der niederlndischeMathematikerGemmaFrisius[Haasbroek1968],deralserstereinema-thematische Beschreibung der Triangulation als Messtechnik verfasste.Abbildung7zeigtdiegrundstzlichegeometrischeAnordnungdreierPunkteimRaum, diedenAufbaueinerTriangulationbeschreibenundderenLagebeziehungenzueinander die Durchfhrung eben dieser ermglichen. Um Entfernungen durch eine Triangulation zu bestimmen, muss folglich ein Punkt S von zwei weiteren Punkten P und Q betrachtet wer-den knnen, was geometrisch der Verbindung durch eine Sichtgerade entspricht. Die Ver-bindung zwischen P und Q bildet dieBasis b, deren Abmessungen bekannt sein mssen. DurchdiebeidenBetrachtungswinkelund,unterdenenSrelativzurBasiserscheint, lassen sich, etwa ber den Sinussatz, alle brigen Gren des Dreiecks bestimmen: ( )b q p = =180 sin sin sin und sin sin p q z = =(26) NachdiesemPrinziplassensichgrundstzlichEntfernungenberechnen,solangemanein Objekt von zwei bekannten Positionen aus betrachten kann. So werden Triangulationsver-fahren auch in der Seefahrt, Kartographie und Astronomie eingesetzt. GenauerbetrachtetbildetdieTriangulationalsoauchdieGrundlagefrdasModelldes Stereo-Sehens,nachdemdiemenschlicheTiefenwahrnehmungfunktioniert.UnsereAu-gen betrachten ein Objekt von unterschiedlichen Positionen aus und knnen so dessen Ent-fernungbestimmen.FrtechnischeVerfahrenmussmanhierbeizwischenpassivenund aktiven Stereo-Verfahren unterscheiden, wie sie in 2.4 und 2.5 beschrieben werden. 20Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung Um verschiedene Verfahren der 3D-Objekterfassung berhaupt untereinander vergleichen zu knnen, mssen einige Begriffegeklrt werden, die die Beschreibungder Eigenschaf-tenundderenEinordnunganhandmethodischerGrundlagenerlauben([Jhne1991],[Jhne 2002], [Forster 2005]): VerschiedeneBegriffeimZusammenhangder3D-Objekterfassungbeschreiben oder meinen oft das Gleiche das sind unter anderem 3D-Messung, Entfernungs-messung, Abstandsmessung, Objekterfassung. Messergebnis: Hier wird grundstzlich darin unterschieden, ob das System nur rei-ne3D-Oberflchendaten,3Dmit texturiertenOberflchenoderkompletteObjekt-modelle mit zugehrigem Volumen bestimmen kann. Tiefenkarte:HiermitwirddieInterpretationeinerdreidimensionalenSzeneals zweidimensionales Bild bezeichnet, die eine einfache Darstellung auf einem Bild-schirmermglicht.JedemBildpunkt(u,v)wirddabeiderentsprechendeTiefen-wert zC der Kamerakoordinaten (xC, yC, zC) zugewiesen und in Farbwerten ausged-rckt. Objektdaten und Entfernungsdaten sind somit quivalent. Die (laterale) Auflsung einer Tiefenkarte entspricht der Anzahl der Pixel, aus de-nen tatschliche Messdaten gewonnen werden knnen. Idealerweise wrde dies der Auflsung der verwendeten Kamera(s) entsprechen. Die (geometrischen) Eigenschaften eines 3D-Sensors bezeichnen dessen Mae, die erlaubte Entfernung eines Messobjekts, den Arbeitsraum, etc. Die Genauigkeit eines Messsystems ist die wohl wichtigste Vergleichsgre und man findet zugleich eine groe Menge verschiedener Definitionen in der Literatur. IndieserArbeitbezeichnetdieGenauigkeitdenZusammenhangzwischendem mittleren Fehler einer Tiefenmessung z und der zugehrigen Standardabweichung z in einem definierten Sensorabstand z. S PQ b pqz Abbildung 7GrundprinzipderTriangulation.DerAbstandeinesPunktsSvonderVerbindung/Basis zweier Punkte P und Q lsst sich durch die Berechnung der Hhe eines Dreiecks ausdrcken. Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung21 DieRobustheiteinesMesssystemserlaubtAussagenberdiemglichenEinsatz-bereicheeinesSensorsundbeziehtsichaufmglicheStrgren,wiebeispiels-weise das Sonnenlicht. DieGefhrlichkeitfrdieGesundheitschlielichz.B.frdasAugenlichtist ein weiterer Punkt, der ber den Einsatz eines Messsystems entscheidet. Die folgenden Kapitel beschreiben nun einige aktuelle Verfahren der 3D-Objekterfassung, angefangen mit allgemeinen Messmethoden bis hin zu spezifischen Stereoskopieverfahren. 2.3Allgemeine Methoden der 3D-Objekterfassung Es existieren verschiedene Anstze zur dreidimensionalen Erfassung von Objekten. Neben denstereoskopischenVerfahren,dieabKapitel2.4beschriebenwerden,werdenimfol-gendenallgemeineVerfahrenzur3D-Objekterfassungbeschrieben.Diesestelleneinen wichtigenSchrittzur3D-Vermessungdar,dasieteilweiseausBeobachtungenderNatur entstanden sind und somit an das natrliche menschliche oder tierische Tiefensehen ange-lehntsind.InderLiteraturfindensichbereitseinigebersichtenverschiedenerAnstze ([Salvi et al. 2004], [Bowyer et al. 2006], [Stoykova et al. 2007]), die sich jedoch jeweils nurmiteinemthematischenTeilgebietbefassen.DiesesKapitelhingegensolleinenall-gemeinenberblickberdieGrundlagenderjeweiligenVerfahrenundAnstzeliefern und dabei auch Schnittstellen zu einigen nicht-stereoskopischen Verfahren aufzeigen. 2.3.1Ultraschall-Verfahren und Laufzeitmessung Messsysteme,diemitUltraschallarbeiten,basierenaufderLaufzeitmessungvonSchall-wellen([BallardandBrown1982]).EinigeTiere,wieFledermuseoderDelfine,nutzen dieseTechnik,umsichzuorientierenoderihreBeutezufinden.Diephysikalischen Grundlagen liegen in der Ausbreitungsgeschwindigkeit cS von Schallwellen und der Mes-sungderenReflexionen.EinetechnischeAnwendungstellenbeispielsweiseRckfahr-warnsysteme dar, wie sie in vielen PKWs verbaut sind. Abbildung 8 zeigt den prinzipiel-len Messaufbau einer solchen Anwendung. Ein Sender sendet zu einer bestimmten Zeit t0 einen Schallimpuls aus. Trifft dieser auf ein Objekt, so werden Schallwellen reflektiert, die ein Empfnger zur Zeit tE detektieren kann. Durch den Laufzeitunterschied t = (tE t0) lsst sich daraus die Entfernung z des Objek-tes berechnen: ( )2 20 S E Sctt t cz == (27) EinNachteildieserMessmethodeliegtzumeinenindervergleichsweiselangenMess-dauerbeigrerenEntfernungen,zumandereninderGenauigkeitundAuflsungder Messdaten, die im Allgemeinen nur eine Hinderniserkennung erlauben. Ein Vorteil dage-22Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung genist,dassdieausgesandtenSchallwellennichtvommenschlichenGehrwahrgenom-menwerdenknnen.DesWeiterensindMessfehlerunabhngigvonderObjektentfer-nung,danurdieZeitmessungeinendirektenEinflussaufdasErgebnishat,wiefolgende Gleichung zeigt: ( ) ( ) tczS = 2(28) FreineEntfernungs-oderAbstandsmessungsindLaufzeitmessungenalsodurchausge-eignet. Allerdings erlauben sie keine exakte Objekterkennung, da sie lediglich eingrobes Bild von Objekten mit uerst geringer lateraler Auflsung wiedergeben knnen. 2.3.2Time-Of-Flight DasPrinzipdersogenanntenTime-Of-Flight-Verfahren(u.a.[Jhne2002])basiert,wie die Ultraschall-Verfahren, auf der Messung von Laufzeitunterschieden. Allerdings handelt essichumeinoptischesVerfahrenzurDetektionvonLichtwellen.Esliegtalsonicht mehrdieSchallgeschwindigkeitcSalsphysikalischeKonstantevor,sonderndieLichtge-schwindigkeit c. Der Messaufbau dagegen ist grundstzlich identisch ein Sender sendet zu einer bekanntenZeit t0 einenLicht- oderLaserimpuls aus, dessen Reflexion an einem Objekt detektiert werden kann. Die Berechnung der Objektentfernung erfolgt daraus ana-log zu Gleichung (27), mit dem gleichen Vorteil der Unabhngigkeit des Messfehlers von der Objektentfernung (28). Schwieriger gestaltet sich hierbei dieLaufzeitmessung, da die Lichtgeschwindigkeit deutlich krzere Messdauern verlangt als die Schallgeschwindigkeit. Es kommen also in der Regel hoch-lichtempfindliche Empfnger zum Einsatz. S/E Ausgesandte Welle Reflektierte Welle Objekt Abstand z Abbildung 8Funktionsprinzip einer Entfernungsmessung mittels Ultraschall. Ein Sender S strahlt Ultra-schallwellenaus,dievoneinemObjektreflektiertwerden.EinEmpfngerE,zumeistamgleichenOrtwie derSender,detektiertdieseWellen,wodurchderAbstandzberdieSchallgeschwindigkeitbestimmtwer-den kann. Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung23 AllerdingsistauchdieseMethodeaufgrundmangelnderAuflsungnichtfreineexakte Objekterkennung geeignet. Eine Erweiterung fr diesen Anwendungsbereich stellt die Va-riantederMultiple-DoubleShortTimeIntegration(MDSI)dar([Mengeletal.2001], [Elkhalili et al. 2004]), wie sie in Abbildung 9 dargestellt ist. DietechnischenVoraussetzungenfrdiesesMessverfahrensindeineKameramiteiner sehrkurzenBelichtungszeitundlinearemSensor-Verhalten,sowieLaser-bzw.Fotodio-denmiteinerkurzenAnstiegszeit.DieKamerabeginnt,synchronisiertmiteinemLaser-impuls,ihreAufnahme.TrifftdasLichtaufeinenPunktderSzene,dervonderKamera erfasst wird, so bewirkt dies einen Anstieg der Spannung U im entsprechenden Bildpunkt desSensors,derwegenderLaufzeitentfernungsabhngigerstzumZeitpunktT0beginnt. Wird dieser Wert zu verschiedenen Zeitpunkten T1 und T2 ausgelesen, so ist eine Berech-nung der Entfernung z ber die Laufzeit des Lichtes gem folgender Formel mglich: ( )( )1 22 1 1 22 U UT U T U cz=(29) EinklarerVorteilimVergleichzuanderenLaufzeitverfahrenistdieTatsache,dassdie MessungfrallePixelsimultandurchgefhrtwird,wodurchmanmiteinerAufnahme mehrere Bildpunkte und somit auch mehrerer Punkte eines Objekts vermessen kann. Man erhltalsoeinetatschlichePunktwolke,ausdenensicheinModellderaufgenommenen Szenerekonstruierenlsst.DasVerfahrenistdurchdiedoppelteIntegrationweitgehend unabhngigvonUmgebungslichtundaufgrunddesMessprinzipsistderFehlerunabhn-gigvonderObjektentfernung.AllerdingsistdieAuflsungeinesSensorskaumfreine echteErkennungvonObjektengeeignet,daaktuellverfgbareSensorenlediglicheine grobeRasterungvon8x64Bildpunktenerlauben.ZudemliegtdieGenauigkeitimZenti-meterbereich,wasfrtatschlicheMessaufgabennichtausreichendist.Dennochver-T0T1T2 U1 U2 U t Laserimpuls Trigger Gepulster Laser CMOS camera mit High-Speed Shutter z z Abbildung 9Time-Of-Flight-PrinzipamBeispielderMDSI.EinObjektwirdvoneinemgepulstenLaserlicht beleuchtet und von einer synchron gesteuerten Kamera aufgenommen, was zu einem Spannungs-anstieg U in einem Sensorelement fhrt. Durch Integration zu verschiedenen Zeitpunkten T1 und T2 und ber die Lichtgeschwindigkeit c lsst sich somit die Entfernung z eines Objektpunkts bestimmen. 24Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung sprichtdieWeiterentwicklungderCMOS-Technik,vorallemdurchdieMglichkeitder IntegrationzustzlicherSensoreigenschaften,eineErhhungderAuflsungenundEmp-findlichkeit,sodassdiegenanntenNachteilebeizuknftigenEntwicklungenunterUm-stnden nicht mehr zum Tragen kommen. 2.3.3Interferometrie DieGrundlagenderinterferometrischenMesstechnikwurdenEndedes19.Jahrhunderts mitderErfindungdesInterferometersdurchAlbertMichelsonentwickelt[Bauer2003]. WhrenddieursprnglicheAnordnungbenutztwurde,umdensogenanntenLichtther alsMediumfrdieAusbreitungdesLichtszuuntersuchen,erlaubenmoderneMethoden der Bildverarbeitung den Einsatz fr genaue Topographie-Vermessungen. Allen Verfahren istjedochgemein,dasssieInterferenzphnomenebeiderVerwendungvonkohrentem Lichtbeobachten.MankanndieInterferometrieauchalsspezielleFormderTime-of-Flight-VerfahrenmitperiodischmodulierterSignalamplitudebeschreiben[Jhne2002], dadieEntfernungsmessungeinVielfachesderverwendetenWellenlngedurchgezielte Phasenmessungergibt.EineLichtquellewirddabeidurcheinenStrahlteilerinzweiTeil-wellenaufgespaltenundanschlieendnachDurchlaufenunterschiedlicherWegewieder zur Interferenz gebracht.Moderne Weilicht-Interferometer bestehen aus einerLichtquelle mit einer Kohrenzln-ge im Bereich von m, einem Strahlteiler, einem Referenzspiegel und einer Kamera, typi-scherweiseeineCCD-KameramitangepasstemObjektivsystem.SieknnenalsMikros-kopsystem oder mit telezentrischen Objektiven aufgebaut werden, was einen Einfluss auf denMessbereichunddieGenauigkeithat.JenachAufbausindmiteinemWeilicht-Interferometer laterale Auflsungen zwischen 1m und 50m mglich. UmdiesenMessbereichflexibelzuhaltenundnichtdurchdieverwendeteWellenlnge beschrnkenzulassen,istesmglich,durchberlagerung(Modulo-Subtraktion)einzel-ner Wellenlngen 1 und 2 eine synthetische Wellenlnge zu erzeugen[Meixner et al. 2004]: cos 22 12 1 = (30) DerWinkelbezeichnetdabeidenWinkelzwischenderMessflchen-Normaleundder Beleuchtungs-/Beobachtungsrichtung.AllerdingssindsolcheVerfahrenebenwegender Anwendung von zwei Wellenlngen relativ empfindlich gegenber Objektbewegungen, da dabeidurchdieDekorrelationenzwischendenWellenlngenerheblicheKontrastverluste auftreten knnen. Um dies zu vermeiden, werden mehrere Kameras eingesetzt, die simul-tan verschiedene Wellenlngen aufzeichnen knnen.Interferometrische Verfahren bentigen zwar nur eine sehr kurze Aufnahmezeit, die Aus-wertung der Interferogramme ist jedoch relativ komplex. So liegen die Erfassungsraten bei Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung25 Berechnung mit aktuellen Prozessoren typischerweise bei 1-2fps (frames per second oder auchDatenstzeproSekunde).ZudemknnendieMessaufbautennureinerelativkleine Flche von wenigen Zentimetern abdecken, weshalbInterferometer in ersterLinie fr in-dustrielle Anwendungen ruhender, kleiner Objekte und Oberflchen interessant sind. Unter dem Begriff der Interferometrie lassen sich aber noch weitere Methoden der Tiefen- oderEntfernungsmessungzusammenfassen.Radio-Interferometerarbeitennachdemvon Michelson entwickelten Prinzip, allerdings mit deutlich hheren Wellenlngen als die des sichtbaren Lichts. Ebenfalls auf der Beobachtung und Auswertung von Interferenzmustern basieren Methoden der Moir-Interferometrie. Hierbei werden knstlich projizierte Gitter-strukturen durch parallel ausgerichtete Gitter aufgenommen, so dass definierte Bedingun-genfrInterferenzenderMusterbestehen([Pallek2007],[Kletteet.al.1996]).Obwohl diesesVorgeheneinehoheAuflsungundGenauigkeitermglicht,istesanflligfr OberflchentexturenundnuraufausreichendglattenOberflchenanwendbar,sodass interferometrischeVerfahrendieserArtinersterLiniefrtechnischeAnwendungenin Frage kommen. 2.4Passive Stereoskopie ZuderGruppederpassivenStereo-VerfahrengehrenalldiejenigenMessmethoden,die auf einem bildbasierten Ansatz unter Verwendung von Kameras aufbauen und sich in ihrer GrundkonzeptioningewisserWeiseammenschlichenSehenundErkennenorientieren. DerBegriffpassivbeziehtsichalsoaufdiereineAuswertungvonSensor-Informationen, die ein Abbild der Umgebung ohne zustzlich eingebrachte Informationen darstellen. Den Gegensatz dazu stellen aktive Komponenten dar, die in Kapitel 2.5 behan-delt werden. 2.4.1Depth from Focus Die Tiefenberechnung auf Basis der Bildschrfe (Focus) ist genau betrachtet kein Stereo-Verfahren, da sie auf den Ergebnissen einer einzelnen Kamera basiert. Da die eigentliche Berechnung auf einer Triangulation beruht, wird sie dennoch der Stereoskopie zugeordnet. EinObjektwirdvoneinerKamera,odervielmehreinemBildsensor,genaudannscharf aufgenommen, wenn es sich im Bereich der Tiefenschrfe von dessen Optik befindet (vgl. Abbildung 10). Genau diesen Effekt kann man sich zunutze machen, indem die geometri-schenGrundlagenderTriangulationnichtaufzwei,sondernmehrereoptischePfadean-gewandt werden. Die Triangulationsbasis bildet dabei der Durchmesser der Optik, die ver-schiedenen Abbildungen des Unschrfekreises (vgl. 2.1.1.2) mit seinem jeweiligen Radius erlauben Rckschlsse auf den Objektabstand. Es ist somit mglich, durch eine Folge von AufnahmenmitdefiniertenTiefenschrittendieOberflchenstruktureinesObjektszube-stimmen.26Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung [Steurer et al. 1986] schlagen dafr folgenden Ablauf vor: EswirdeineBildseriemitverschiedenen,konstantenTiefenschrittenderOptikaufge-nommen.EinHochpassfilterdientdazu,indiesenBildernBereichemitsignifikantenIn-tensittsnderungen zu maskieren. Vergleicht man die entsprechende Region in allen auf-genommenenBildern,soergibtdermaximaleDifferenzwerteinesBildesdenentspre-chenden Tiefenwert fr diese Region. Da sich dadurch keine flchendeckenden Werte be-stimmen lassen, ist eine Interpolation unabdingbar, um die gesamte Oberflche darstellen zu knnen. DieseMethodekanneineTiefenkarteinKameraauflsungliefern,derenGenauigkeitim BereichderverwendetenoptischenSchritte(etwa2m)liegt.Allerdingserfordertdie AufnahmeZeit,damehrereBilderaufgenommen,sowiedieTiefenschrittesehrgenau eingestellt werden mssen. Auerdem ist eine Bestimmung scharf abgebildeter Bildberei-chenurfrstrukturierteOberflchenmglich.GlatteOberflchenbeinhaltenzuwenig Information, als dass eine Tiefenberechnung durch Depth from Focus mglich wre. 2.4.2Shape from Shading DieTiefenberechnungoderEntfernungsabschtzungausnureinereinzelnenAnsichtist eine Fhigkeit des Menschen, die auf Erfahrungen im Betrachten von Objekten beruht. Es ist uns durchaus mglich, beim Betrachten eines Fotos Annahmen ber die Form, Entfer-nungundBeschaffenheitverschiedenerObjektezutreffen.FreineMaschineistdies nichtohneweiteresmglichdieUmsetzungeinessolchenAnsatzeswirdShapefrom Abbildung 10Depth-from-Focus.EineSzenewirdvonverschiedenenPositionenausaufgenommen (I-IV), wobei nur Objekte im Schrfebereich fokussiert abgebildet werden. Daraus lassen sich die Tiefenin-formationen ermitteln. IV III II I IV IIIII IKapitel 2:Grundlagen der dreidimensionalen Objekterfassung27 Shading (SfS) ([Klette et. al. 1996], [Zhang et al. 1999]) genannt, also die Berechnung ei-ner Form aus deren Schattierung. Fr den Aufbau eines SfS-Systems ist nur eine einzelne Kamera ntig. Da allerdings eine zustzliche konstante Objektbeleuchtung fr dieZuverlssigkeit des Systems erforderlich ist und die Tiefenerfassung sich am menschlichen Sehen orientiert, ist diese Methode hier den Stereo-Verfahren zugeordnet. EineTiefenberechnungaufBasisderObjektschattierungistmglich,daGeometrieund ReflexionsverhalteneinerOberflchedasLichtbeeinflussen,welchesschlielichaufden Bildsensor trifft. Entscheidend hierfr ist der Farb- oder Grauwerteindruck im aufgenom-menen Bild, die sogenannte Irradianz, die sich aus der eingestrahlten Lichtenergie auf ein bestimmtesFlchenelementberechnet.SiekannvonviergrundlegendenGrenbeeinf-lusstwerdenderBeleuchtung,derOberflchenreflexion,derObjektgeometrieundvon denAufnahmeeigenschaftendesSensorsselbst.AnschaulichlsstsichdieAufgabenstel-lung des SfS mit der dreidimensionalen Darstellung von Objekten auf zweidimensionalen Bildschirmenvergleichen,wobeiindiesemFallderumgekehrteWegbeschrittenwird. Jedoch gelten fr die Messmethoden einige Einschrnkungen. So muss zunchst die Posi-tion der Quelle der Beleuchtung bekannt sein. Bei zustzlicher knstlicher Beleuchtung ist dies noch relativ einfach zu modellieren, es existieren verschiedene Umsetzungen fr pa-ralleleBeleuchtungenoderPunktlichtquellen.Frdiffusesodernatrlicheinfallendes Licht sind exakte Modellierungen dagegen schwer durchfhrbar.Da das aufgenommene Bild eine Interpretation des von der Oberflche reflektierten Lichts darstellt,hatdasReflexionsverhaltendesObjektseinenebensogroenEinflusswiedie Beleuchtung.FrdieOberflchewirdimAllgemeinendieLambertscheReflexionange-nommen,waseinehomogeneStrukturdergesamtenSzenebedeutet.DiesesZusammen-spielerlaubtdieModellierungeinersogenanntenReflektanzkarte,diederOberflchen-orientierungeindeutigeIrradianzwertezuordnet.EinegrobeAbschtzungvonFlchen-orientierungen ist damit bereits mglich. Weitere Einschrnkungen und Voraussetzungen an die Oberflchenbeschaffenheit machen Sensoren nach diesem Verfahren fr eine allgemeine Anwendung auf unbekannte Objekte unbrauchbar,weshalbaufdieseProblemehiernichtnhereingegangenwird.Zudem bleibt die Szenenrekonstruktion mittels SfS sehr aufwendig. So wurde bereits von [Forsyth andZisserman1991]zusammengefasst,dassesdurchSfSunmglichist,exakte,dichte und genaue Szenenrekonstruktionen zu erhalten. Da auch neuere Methoden stets mit star-ken Einschrnkungen auskommen mssen oder A-Priori-Wissen verwenden, bleiben SfS-MethodeneininteressanterAspektderTiefenberechnung,dasiesichmitfundamentalen FragenderAuswirkungundKompensationverschiedenerArtenderObjektbeleuchtung beschftigen.DennochwerdensiefrtechnischeAnwendungen,vorallemaberalsbio-metrische Schnittstelle, nicht als praktikabel angesehen. 28Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung 2.4.3Passives Stereo DieursprnglichepassiveStereoskopieistgrundstzlicheinedirektebertragungdes menschlichen Sehens auf ein Computer-Interface zur Bild- und Datenerfassung. DerMenscherkenntseineUmweltausdemBenutzenseinerbeidenAugen.Sieermgli-chenesuns,Entfernungenabzuschtzen,Objektgreneinzuordnenundunsinunserer dreidimensionalen Welt zu bewegen. Fllt eines unserer Augen aus, so sind wir in unserer Wahrnehmungstarkeingeschrnkt,dawirdannnurnocheinezweidimensionaleAbbil-dungunsererUmgebungerhaltenundunszurTiefenbestimmungaufunsereErfahrung verlassen mssen (siehe Depth-from-Focus oder Shape-from-Shading). Das dreidimensionale Erfassen von Objekten mittels passiver Stereoskopie lsst sich durch zweiBildaufnahmegerte,zumBeispieleinfacheKameras,ineinertechnischenAnwen-dung modellieren. Um so ein Stereo-System aufzubauen, werden zwei Kameras in einem definiertenAbstandb,derBasis,nebeneinanderangeordnet.DieSichtachsenbeiderKa-merasverlaufendabeiparallel,dasZentrumdesKoordinatensystemsliegtimoptischen Zentrum einer der beiden Kameras. Abbildung 11 zeigt eine solche Anordnung. b S(xS, zS) xl f f xr z x C(0,0) Abbildung 11PassiveStereoskopiemittelszweierparallelangeordneterBildsensoren.berdenSchnitt der Sichtgeraden beider Sensoren und die entsprechenden Bildkoordinaten xl und xr lsst sich die EntfernungzS eines Objektpunkts S berechnen. Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung29 Wird von beiden Kameras ein Punkt S erfasst, so lsst sich mittels einer Triangulation die EntfernungdesPunktesvondenKamerasberechnen.DazumssendieKoordinatendes Punktes in beiden Kamera-Systemen bekannt sein. Diese erlauben dann allgemein folgen-de Beschreibung: SS lzxfx= SS rzb xfx =(31) Mit den Umformungen Sl Srzbfx zfx=(32) Sl Srzbf x zx=(33) ( ) bf x x zr l S= (34) lsst sich schlielich der Abstand zS des Punktes S berechnen: r lSx xbfz=(35) AllerdingsbedingteineparalleleKameraanordnung,dasskeinerderbeidenverwendeten BildsensorenaufseinervollenFlcheausgenutztwird,dadiesdiePositionierungbeider SensorenaufdengleichenKoordinatenbedeutenwrde.UmalsodievolleAuflsung beiderSensorenzunutzen,istesntig,einederbeidenKameraszudrehen.DerWinkel zwischendenSichtachsen,dernunentsteht,wirdalsTriangulationswinkelbezeichnet. Abbildung 12 zeigt eine solche Anordnung zweier Kameras, von denen eine (rechts) frei zur Referenzkamera (links) positioniert wurde. DieserWinkelzwischendenKamerassorgtdafr,dassdiesichtbarenBereichebeider Sensoren besser in Deckung gebracht werden knnen, als dies bei einer parallelen Anord-nung mglich wre. Somit lsst sich eine grere Flche abtasten, es knnen mehr Punkte vermessenwerden.Zudemerlaubteinenicht-paralleleAnordnung,denAbstandderKa-meras zu vergrern. Dies ermglicht die Bestimmung genauerer Tiefendaten, da sich der relativeFehlereinesTiefenpunktsdurcheineVergrerungderBasisverringert(siehe auch3.6.2).DieTiefenberechnungndertsichdabeientsprechend,dadieverschiedene Ausrichtung der beidenKoordinatensysteme derKameras eine Transformation der Koor-dinatensysteme auf Basis der Kameraorientierung und position notwendig macht.HierzuwirdeineimaginreKameradefiniert,derenZentrumdemdergedrehtenKamera C = (b, zR) entspricht und die die Orientierung einer regulren, parallelen Anordnung be-30Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung sitzt. Dies geschieht entsprechend der folgendenBeziehung der Koordinatentransformati-on (siehe zur Verdeutlichung auch Abbildung 12): sin cos z x x = cos sin z x z + =(36) Fr die Kamerakoordinate der rechten Seite, die zur Tiefenberechnung bentigt wird, gilt folglich: cos sinsin cosf xf xf xrrr + =(37) DieGleichungen(31)-(35)ndernsichdementsprechend,sodasssichdieBeziehungen innerhalbderbeidenKoordinatensystemeunddamitauchdieTiefenberechnungumfor-mulieren lassen zu: SS lzxfx= R SSSS rz zb xzxfx= = (38) xl f C(b,zR) S(xS, zS) f xr z x C(0,0) z x xzAbbildung 12PassiveStereoskopiemittelszweierBildsensorenuntereinemTriangulationswinkel. hnlichderparallelenAnordnunglsstsichdieEntfernungzSeinesObjektpunktsSberdenSchnittder Sichtgeraden beider Sensoren und die entsprechenden Bildpunkte xl und xr berechnen. Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung31 R Sl SR Sl Srz zbf x zz zf bfx zx=|||

\|= (39) r lR rSx xz x bfz=(40) Unabhngig von der Kameraanordnung ist es allerdings eine grere Schwierigkeit bei der Tiefenberechnung,dieentsprechendenPunkteinbeidenSensorenkorrektzuzuordnen. Dieses sogenannte Korrespondenz-Problem fllt bei strukturierten Oberflchen relativ ge-ringaus,dasichdurchverschiedeneVerfahren,wiebeispielsweiseeinTemplate-Matching,zuverlssigkorrespondierendeBereicheinzweiBildernfindenlassen.Mehr-deutigkeitenoderFehlzuordnungenergebensichdagegenbesondersbeieinfarbigen,ho-mogenen Oberflchen oder Oberflchen mit periodischer Struktur. Stellt man sich hierbei zweiAufnahmeneinerweienWandmitverschiedenenKamerasvor,soisteineZuord-nungentsprechenderPunktenahezuunmglich.InsolchenFllenversagenpassiveSte-reo-VerfahrenoderbentigendasHinzufgenzustzlicherOberflchenstrukturierungen. blicherweise behilft man sich in solchen Fllen durch das Aufbringen von Markern oder Strukturspray, wodurchder Vorteil eines berhrungslosen Messverfahrens allerdings ver-lorengeht.UmdiesenVorteilzuerhalten,wirddeshalbofteineandereMglichkeitzu-stzlicherStrukturierunggewhlt,diemitderaktivenStereoskopieimfolgendenKapitel vorgestellt wird. 32Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung 2.5Aktive Stereoskopie ImGegensatzzurpassivenbezeichnetdieaktiveStereoskopiediejenigenVerfahren,die zwaraufdemStereo-Prinzipbasieren,diesesaberdurcheineaktiveKomponenteuntersttzen. Diese aktive Komponente, in der Regel realisiert durch eine Beleuchtung mit einembestimmtenMuster,bringtdabeizustzlicheInformationineinezuvermessende Szene, die eine Tiefenberechnung erleichtert.2.5.1Grundprinzip ImeinfachstenFallerleichtertdiesezustzlicheBeleuchtungdasLsendesKorrespon-denzproblems,dadieZuordnungentsprechenderBildbereichezwischenzweiKameras erleichtertwird(sieheAbbildung13).EskannalsoohnemechanischeBeeintrchtigung berhrungsloseineStrukturaufeineneutraleOberflcheaufgebrachtwerden,dieeine klassische Stereoskopie auf beliebige Oberflchen vereinfacht (vgl. auch [Vuylsteke et al. 1990],[KnollandSasse1993]).HatmandabeinochgenauereInformationenberdie AnordnungdesprojiziertenMusters,dessengeometrischerStrukturunddieArtderPro-jektion,so istes sogarmglich,eineKamerakomplettdurcheineaktiveBeleuchtungzu ersetzen. Die Tiefenberechnung nach dem Stereo-Prinzip bleibt dabei erhalten, da ein Pro-jektorwieeineKameraalszweidimensionaleAbbildungeinerEbenemodelliertwerden kann.InderProjektionidentifizierteBildpunkteknnendemnachaufSensorkoordinaten des Projektionsmusters zurckgefhrt werden und erlauben eine Modellierung, die der ei-ner Kamera entspricht. Abbildung 13Aktive, strukturierte Beleuchtung. Durch Projektion einesstrukturierten Musterswird das LsendesKorrespondenzproblemseinesStereosystemserleichtert,vorallembeiunstrukturiertenoder glatten Oberflchen. Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung33 2.5.2Laservermessung und Lichtschnitt Die einfachsteAnordnungeiner solchenaktivenBeleuchtung stellen dabei die Methoden der Laservermessung bzw. des Lichtschnitts dar. Aufgrund des einfachen Aufbaus und der RobustheitderMessmethodefindetdiesesVerfahreninvielentechnischenBereichen Anwendung. Abbildung 14 zeigt den Aufbau eines solchen Systems, das meist aus einem Linienlaser mit aufgefchertem Lichtstrahl und einer Kamera besteht. Mit Kenntnis der geometrischen Anordnung von Kamera und Laser lassen sich die Grund-lagenderTriangulationvomBeginndiesesKapitels(sieheAbbildung7)anwendenund somitdieEntfernungvonOberflchenpunktenberechnen.AberauchohnegenaueKenn-tnis der relativen Anordnung von Kamera und Laser knnen Aussagen ber Objektdefor-mationenoderBewegungengetroffenwerden.DabeikommendiegeometrischenAbbil-dungseigenschaften des Verfahrens zum Tragen. Trifft der Laserstrahl auf eine ebene Fl-che,soerscheinteralsLinie,einegekrmmteOberflchebewirkteineVerformungdes Strahls.InderKameraistdanndiezweidimensionaleReprsentationderLaserliniemit ihrer vom beleuchteten Objekt hervorgerufenen Deformation deutlich sichtbar.UmeineexakteTiefenberechnungdurchzufhren,mussbeidiesemVerfahrenzunchst diePositionderLaserliniegenauinderKamerabestimmtwerden.DadieeinzelneLinie jedoch als scharfe Hell-Dunkel-Grenze erkennbar ist, ist dies durch eine einfache Kanten-detektionundverfolgungdurcheineBildverarbeitungleichtzulsenunderlaubteine PositionsbestimmungbisaufSubpixelgenauigkeit.AllerdingserlaubteineeinzelneLinie auch nur die Betrachtung eines Ausschnitts eines Objekts oder einer Szene. Um ein komp-letteskontinuierlichesModellzuerhalten,mssenmehrereMessungenkombiniertwer-den. Hierfr gibt es verschiedene Anstze: Das Messobjekt kann vor dem Sensor horizontal oder vertikal bewegt werden, der Sensor kannbewegtodergeschwenktwerdenoderlediglichderLaserwirdinfestdefinierten Schritten rotiert. All diese Umsetzungen erfordern jedoch eine hohe Genauigkeit bei evtl. eingesetztenSchrittmotoren,dafehlerhaftePositionierungeneinendirektenEinflussauf die Messgenauigkeit haben. EbenfallsdenkbaristeineKombinationmehrererKamerasundLaser,waszugleichdie simultane Aufnahme mehrerer Linien ermglichen wrde. Allerdings ist hierbei eine ein-deutigeLinienzuordnunginderjeweiligenKameraunmglich.Abhilfeschafftineinem solchenFalleineabwechselndeAufnahmeoderdieVerwendungverschiedenerWellen-lngen bei den Lasern und Bandpassfiltern bei den Kameras. Somit entstehen unabhngige Laser-Kamera-Paare, die eine simultane Aufnahme erlauben. Welche Kombination auch verwendet wird ein Laser als Projektionseinheit erlaubt eine sehrgenaueOberflchen-undTiefenvermessung,daderStrahlentlangderprojizierten LaserlinieaufeinenschmalenBereichfokussiertist.NebeneffektewiedieSpecklebil-dung, hervorgerufen durch das Auftreffen eines kohrenten Lichtbndels auf optisch raue 34Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung Oberflchen,knnendabeidurchdieanschlieendeBildverarbeitungeinschlielichder Kantendetektion minimiert werden. Eine Alternative zur Verwendung von Lasern zur Linienprojektion stellt die Verwendung einesStreifenprojektorsdar.DamitknnendurchdenEinsatzeineseinfachenVideo-ProjektorsodereinesDiasmehrereLichtstreifenaufeineSzeneprojiziertwerden (Abbildung 15). Grundstzlich lsst sich dann fr jede projizierte Linie eine Triangulation ausfhren.AufgrundderEigenschaftenderProjektion,dienichtfokussiertesLichtver-wendet, nimmt jederLichtstreifen eine bestimmte Flche ein. Dadurch wird keine exakte Linie beschrieben, weswegen es fr die Messgenauigkeit von Vorteil ist, zur Messung le-diglich die Kanten zwischen den Streifen zu betrachten. EinKantenbergangzwischeneinemhellenundeinemdunklenStreifenentsprichtnm-licheinergenaudefiniertenLinieundkeinerprojiziertenFlche.Gelingtesalso,die Koordinaten einer solchen Linie zu bestimmen, so lsst sich diese wiederum als Grundla-ge einer Triangulation verwenden. Das Auffinden von Kanten ist in der digitalen Bildver-arbeitung ein bekanntes Problem. Es existieren etliche Verfahren, deren Weg blicherwei-seberdieersteAbleitungderHelligkeitswertederBildpunkteunterVerwendungdes Sobel-Operators mit folgenden Filtermatrizen fhrt: ((((

=1 0 12 0 21 0 1verS und((((

=1 2 10 0 01 2 1horS (41) Abbildung 14Lichtschnitt mittels Laser. Die projizierte Laserlinie kann im Kamerabild eindeutig identi-fiziertwerdenund ermglicht somit den Schnitt der abgestrahlten Lichtebenemit der Sichtgeraden der Ka-mera zur Tiefenberechnung.Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung35 DurchFaltungeinesBildesmiteinerdieserMatrizenwirdeinGradientenbilderzeugt, dessen Intensittswerte in den Bereichen starker Helligkeitsnderung also an Kantenpo-sitionen am hchsten sind. Wendet man diese Operatoren auf ein mit Streifen beleuchte-tes Bild an, so lassen sich die Positionen der Kanten genau bestimmen. Das Ergebnis einer solchenOperationistschematischimBildderKamerainAbbildung15dargestellt.Der VerlaufderdeformiertenKantenstelltdieaufdasObjektauftreffendenLichtebenendar, derenSchnittmitdenSichtgeradenderKamerawiederumdieTiefenberechnungermg-licht. Die erreichbare Genauigkeit der Tiefenwerte beidiesen Verfahren ist dabei durchaus mit einerLaserlinien-Projektionvergleichbar.AllerdingsstelltsichbeiderStreifenbeleuch-tung das gleiche Problem wie bei der Verwendung mehrerer Linienlaser die Identifikati-on und Unterscheidung der einzelnen Kanten. Es mssen deshalb entweder stets alle Kan-tenimBildsichtbarsein,umeinAbzhlenzuermglichen,oderMethodenangewandt werden, die eine eindeutigeIdentifikation zulasses. Diese erlauben dann fr jede Position eine exakte und genaue Tiefenberechnung. Um diese Einschrnkungen zu vermeiden, lsst sich das projizierte Lichtmuster codieren, was im Folgenden erlutert wird. Abbildung 15ProjektioneinfacherLichtstreifen.ZurTiefenberechnungknnenentwederdieStreifen selbst,oderaberdieKantendazwischenherangezogenwerdendasVorgehenistdabeivergleichbarmit einem mehrfachen Lichtschnitt. 36Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung 2.5.3Codiertes Licht Messsysteme, die codiertes Licht verwenden, bezeichnen im Allgemeinen die Kombinati-on ein oder mehrerer Kameras und einer Projektionseinheit, die zustzliche Information in codierterFormineinezuvermessendeSzeneeinbringtundsomitdasLsendesKorres-pondenzproblems erleichtert. 2.5.3.1Prinzip Um Information in einem Lichtmuster eindeutig zu codieren, wurden in den vergangenen Jahrzehnten etliche Verfahren vorgestellt. Zurckfhren lassen sich dabei die meisten Sys-teme auf den Grundsatz der aktiven Stereoskopie eine Kamera wird durch eine Projekti-onseinheitersetzt,derengeometrischerAufbau(bzw.derenSensorflche)durcheinoder mehrere Muster in der Art codiert wird, dass eine eindeutige Zuordnung in der projizierten Darstellungmglichist.DasZielistalso,Bildpunkte,BildzeilenoderBildspaltendurch Tabelle 1 Ausgewhlte Verfahren zur Codierung von Lichtmustern (nach [Pags et al. 2003], erwei-tert).DieTabellezeigtdiewichtigstenbzw.bekanntestenVertreterder3D-Erfassungmittelscodierten Lichts,sowiederenentsprechendeReferenzenundErscheineninderLiteratur.Ebenfallsaufgelistetfinden sich dabei die Art der Codierung (periodisch oder absolut), die Eignung fr bewegte oder statische Objekte sowie die verwendete Farbtiefe der Verfahren (binr 2bit, Graustufen 8bit, mehrfarbig 24bit). VerfahrenBeschrieben unter anderem inCodeSzeneFarbtiefe Zeitliche Codierung Binre Codierung, Gray-Code [Potsdamer and Altschuler 1982] [Inokuchi et al. 1984] [Minou et al. 1981] [Trobina 1995] [Valkenburg and McIvor 1998] [Rocchini et al. 2001] abs. abs. abs. abs. abs. abs. stat. stat. stat. stat. stat. stat. 2bit 2bit 2bit 2bit 2bit 24bit n-nre Codierung [Caspi et al. 1998] [Horn and Kiryati 1997] abs. abs. stat. stat. 24bit 8bit Phasenshift,hybride Methoden [Bergmann 1995] [Ghring 2001] [Sato 1996] [Hall-Holt and Rusinkiewicz 2001] [Guan et al. 2003] abs. abs. abs. abs. abs. stat. stat. stat. bew. bew. 8bit 2bit 2-8bit 2bit 8bit Direkte / rumliche Codierung De BruijnSequenzen [Monks 1994] [Vuylsteke and Oosterlinck 1990] [Pajdla 1995] [Salvi et al. 1998] [Zhang et al. 2002] abs. abs. period. abs. abs. bew. bew. bew. bew. st./bew. 24bit 2bit 2bit 24bit 24bit M-Arrays [Spoelder et al. 2000] [Morano et al. 1998] abs. abs. bew. stat. 2bit 2-24bit Graustufen [Carrihill and Hummel 1985] [Miyasaka et al. 2000] abs. abs. stat. bew. 8bit 8bit Farb-Codierung [Smutny and Pajdla 1996] [Wust and Capson 1991] [Forster 2005] abs. period. abs./per. stat. bew. bew. 24bit 24bit 24bit Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung37 ein Muster oder eine Abfolge von Mustern derart darzustellen, dass diese in aufgenomme-nen Szenen eindeutig identifiziert und ihrer Ursprungsposition zugeordnet werden knnen. DasgrundstzlicheVorgehenisthierfrbeiallenVerfahrenhnlich,diemitcodiertem Licht arbeiten. Es werden bestimmten Bereichen der Projektionsebene dies kann ein Dia, ein Videoprojektor oder ein hnliches Gert sein eindeutige Bezeichnungen zugewiesen, blicherweisedurcheineNummerierung.DieentsprechendenIdentifikationsnummern werden dann in Muster umgesetzt, wobei wahlweise durch Farben, Formen oder zeitliche FolgeneineeindeutigeIdentifikationsichergestelltwird.KanndannbeieinerBildauf-nahmeeinPunktdesProjektionsmustersvonderKameraeindeutigidentifiziertwerden, ist das Korrespondenzproblem gelst eine Triangulation kann unter Durchfhrung eines Schnitts der Sichtgeraden der Kamera mit der Lichtgeraden oder Lichtebene des Pro-jektors erfolgen. Tabelle 1 zeigt eine bersicht der gngigsten Verfahren, deren wichtigste Grundprinzipien im Folgenden beschrieben werden. Auf die in der Tabelle ebenfalls erwhnten Verfahren derDe-Bruijn-Sequenzen,dieausderkombinatorischenMathematikstammen,undM-Arrays, die zumeist mit zufllig (pseudo-random) angeordneten farbigen Punkten zur Co-dierung arbeiten, wird dabei jedoch nicht nher eingegangen, sondern auf die angegebene Literatur verwiesen. Im Vergleich mit den anderen gelisteten Verfahren liefern diese Me-thodenoftmalsErgebnisse,diefrexakteVermessungennichtgeeignetsindoderderen Verarbeitungvergleichsweiserechenintensivist,wiesichinExperimentengezeigthat (vgl.[Salvietal.2004]).DasHauptaugenmerkliegtdeshalbaufzeitcodiertenVerfahren, Phase-ShiftingundKombinationendavon,sowiederdirektenCodierungmitmonochro-mer oder farbiger Beleuchtung. 2.5.3.2Zeitcodierte Verfahren Die zeitliche Codierung von Lichtmustern ist die lteste und wohl am weitesten verbreitete und erforschte Methode zur dreidimensionalen Vermessung mit codiertem, strukturiertem Licht. Die Codierung erfolgt hierbei durch eine Sequenz von Mustern, deren Kombination ersteineeindeutigeIdentifikationmglichmacht.DiesezeitlicheCodierungerlaubtaus zwei Grnden eine relativ hohe Genauigkeit und Robustheit der Codierung.ZumeinenistderGrundwortschatz(Primitive)desCodeszumeistrelativklein,dale-diglichBinrwerte(schwarz-wei)zumEinsatzkommen,dieeinfachzuunterscheiden sind.ZumanderenerlaubtdiesequentielleAbfolgeeineimmerfeinerwerdendePositi-onsbestimmungdeseinzelnenBildpunktes,wasdieletztendlicheGenauigkeitderBe-stimmungweiterhinerhht.IndenletztenJahrzehntensindeinigeVerfahrenentwickelt worden,diedieseStrategienzeitlicherundmonochromerProjektionenverfolgen.Diese klassischeFormderBinrcodierung,dieaufgrundihrereingeschrnktenFarbtiefeetli-che Vorteile bei der Bildverarbeitung bietet, wird nun anhand verschiedener Beispiele n-her beschrieben. 38Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung Bereits Anfang der 80er Jahre stellten [Potsdamer and Altschuler 1982] ein Verfahren zur zeitlichenMustercodierungvor,beidemdurcheineSequenzvonmMustern2mStreifen eindeutig bestimmt werden. Jedes Codewort, bzw. jeder Streifen, kann somit durch m bi-nreSymboledargestelltwerden.InderProjektionwurdenhelle(weie)Streifender1 zugeordnet,dunkle(schwarze)Streifendementsprechendder0(vgl.Abbildung16).Die maximale Anzahl der Streifen ist dabei prinzipiell nur durch die Auflsung des Projektors begrenzt, es knnten also Streifen einer Breite von einem Bildpunkt projiziert werden.Allerdings gilt es zu beachten, dass diese Streifen fr eine Kamera und die anschlieende Bildverarbeitung auch detektierbar sein mssen. In der Praxis ist also die Anzahl und Brei-tederCodestreifendurchdasSampling-Theorembestimmt,sodassdieAuflsungder Kamera und der Musterprojektion aufeinander abgestimmt werden mssen. Sind die Strei-fen schlielich identifiziert und die Positionen decodiert, kann eine Triangulation zur Tie-fenberechnungdurchgefhrtwerden.DieBerechnungerfolgtaufGrundlagedesinzwi-schenbekanntenSchnittseinerLichtebeneundeinerSichtgeraden.WieunterAbschnitt 2.5.2dargestellt,musshierfrwiederentwederdasZentrumdesfeinstenLichtstreifens bestimmt werden oder man verwendet die Kante zwischen zwei codierten Streifen. Das Verfahren der Binrcodierung wurde unter anderem durch [Inokuchi et al. 1984] mit der Einfhrung des Gray-Codes zur Streifencodierung verbessert. Der Vorteil einer Gray-Codierung im Vergleich zu einer einfachen Binr-Codierung liegt darin, dass aufeinander-folgendeCodewortestetseineHamming-Distanzvon1haben,wieTabelle2zeigt,und somit robuster gegen auftretende Strungen sind. Der untere Teil von Abbildung 16 zeigt dieentsprechendeCodierungderSzenemiteinemGray-Code.AusbeidenGrafikenist Binrcodierung Gray-Codierung Abbildung 16ZeitlicheCodierungeinerSzene.EinLichtstreifenkannentwederechtbinrcodiert sein,so dass die Streifen strikt durchnummeriertsind, oder durch den codierungs-theoretischgeschickteren Gray-Code, bei dem die Hamming-Distanz zwischen benachbarten Streifen stets 1 betrgt (s.a. Tabelle 2).Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung39 ersichtlich, dass sich mit m = 4 Mustern 2m = 16 Streifen codieren lassen, wodurch sich die in der Tabelle aufgelisteten Codeworte ergeben. EswurdenzudemweitereVariantenderGray-CodierungoderKombinationendesGray- und Binrcodes entwickelt ([Minou et al. 1981], [Trobina 1995]). Die Grundlage fr eine erfolgreiche Decodierung steht und fllt aber bei allen Verfahren mit der erfolgreichen De-tektionundInterpretationderHelligkeiteinesPixels.Whrendbeihomogenen,einfarbi-gen Oberflchen noch eine einfache Schwellwertdetektion denkbar ist, so ist dies fr tex-turierteOberflchennichtimmermglich.Deshalbisteshilfreich,dieSchwellwertefr bestimmteBildpunktedynamischzubestimmen.Hierfrwerdenbeidenbeschriebenen Verfahrenblicherweisevoll-undnicht-beleuchteteReferenz-Bildermitaufgenommen. AlternativknnenauchfrjedesprojizierteMusterinvertierteAufnahmenverwendet werden, wodurch speziell eine Kantendetektion zwischen zwei Streifen vereinfacht wird. VorallemindenletztenJahrenwurdendieVerfahrenderBinrcodierungdahingehend verbessert,dieExaktheitderCodierungundderDetektionaufSubpixel-Genauigkeitzu verbessern (u.a. [Rocchini et al. 2001]). Denn wie bereits erwhnt, kann die Codierung des Musters nur so fein erfolgen, wie es die Kamera zulsst. Bei der Kombination eines han-delsblichenVideo-ProjektorsmiteinerAuflsungvon1024x768Bildpunktenundeiner Kamera mit Standard-Video-Auflsung von 780x580 ist deshalb eine Codierung von mehr als 256 Streifen wenig sinnvoll, da sonst eine eindeutige Detektion kaum mglich ist. Dar-aus ergeben sich Streifen bestimmter Breite, deren Zwischenwerte fr eine feinere Auff-cherungderLichtebenenentwederinterpoliertoderdurchweitereMethodenbestimmt Codewort-NrBinrcodierunghVorgngerGray-CodierunghVorgnger 000 0 0 040 0 0 01 010 0 0 110 0 0 11 020 0 1 020 0 1 11 030 0 1 110 0 1 01 040 1 0 030 1 1 01 050 1 0 110 1 1 11 060 1 1 020 1 0 11 070 1 1 110 1 0 01 081 0 0 041 1 0 01 091 0 0 111 1 0 11 101 0 1 021 1 1 11 111 0 1 111 1 1 01 121 1 0 031 0 1 01 131 1 0 111 0 1 11 141 1 1 021 0 0 11 151 1 1 111 0 0 01 Tabelle 2 Verschiedene Verfahren der zeitlichen Codierung. Dargestellt ist der Einfluss der verwen-detenCodierungsmethode(BinrcodierungoderGray-Code)aufdieresultierendenCodeworteundderen Hamming-Distanzen untereinander. Beim Gray-Code liegt diese Distanz stets bei 1 (s.a. Abbildung 16). 40Kapitel 2:Grundlagen der dreidimensionalen Objekterfassung werden mssen. Eine Mglichkeit dafr liefert beispielsweise die im folgenden Punkt be-schriebene Phasenverschiebung. Ein grundstzlicher Nachteil aller Verfahren der zeitlichen Codierung ist aber, dass sie in ersterLiniefrstatischeSzeneneingesetztwerdenknnen.DennbeiderAufnahmebe-wegter Objekte verschieben sich zwangslufig die einzelnen Muster zueinander, was sich in Rekonstruktionsfehlern widerspiegeln kann. 2.5.3.3Phasenverschiebung Ein Muster, das auf dem Gray-Code oder einer vergleichbaren binren Codierung basiert, hatdengroenVorteil,dasseinePositionsbestimmungfrjedenBildpunkteinzelnund ohneBetrachtungderNachbarschaftmglichist.Dennochlimitiertgenaudiesediskrete NaturderCodierungauchdieGesamtauflsungeinessolchenMusters,dastetsStreifen bestimmter Breite detektiert werden. Ganz im Gegensatz dazu erlauben Verfahren wie die Phasenverschiebung(Phase-Shifting)aufgrundihrerkontinuierlichenNaturaucheine kontinuierliche Positionsbestimmung. Man formuliert dabei keine Codierung des Musters imeigentlichenSinne,sondernvollziehteinePositionsbestimmungunterVerwendung phasenverschobener, periodischer Intensittsverteilungen.Abbildung 17 zeigt drei sinusfrmige, um 120 phasenverschobene Muster, die eine exak-tePositionsbestimmunginnerhalbjederPeriodeermglichen.DerIntensittsverlaufder einzelnen Projektionen ist durch folgende Gleichungen bestimmt: I. 0I( ) sin + = A I II. 120I ||

\|+ + = 32sinA I(42) III. 240I ||

\|+ + = 34sinA I Dabei bezeichnet die Positio