Kameraanbindung mit OpenCV - userpages · Einleitung & Allgemeines Open Source Bibliothek Basierend auf Image Processing Library Programmiersprache C++ Hohe Geschwindigkeit Lizenzfrei

Kameraanbindung

mit OpenCV

Projektpraktikum AR/VR

Raphael Baumeister

06.10.2010

Einleitung & Allgemeines

Open Source Bibliothek

Basierend auf Image Processing Library

Programmiersprache C++

Hohe Geschwindigkeit

Lizenzfrei für akademischen und kommerziellen

Einsatz

Breites Spektrum der Computervision (über 500

Funktionen)

06.10.20102 Kameraanbindung mit OpenCV

Einleitung & Allgemeines

Verwendet von: Microsoft, Google …

Verwendet für:

Bildverarbeitung(Filterung, Segmentierung,…)

Mensch-Maschine Interaktion

Objekt-Identifikation/-Verfolgung

Kontur-Verarbeitung

Ermittlung von Struktur aus Bewegung

Maschinelles Sehen von (mobilen) Robotern


Kamera

Point Grey Firefly MV

Sensor: „global shutter“

Auflösung: 752x480 Pixel

Framerate: 61 FPS

Transferrate: 400 Mb/s


Mögliche Anwendungen von OpenCV

Bewegungsanalyse:

Background Subtraction

Motion Templates

Geometrische Figuren erkennen:

Feature Detection

Umrisse analysieren:

Borgefoss

Strukturen analysieren:

Contour Processing, Geometry


Mögliche Anwendungen von OpenCV

Direktes Lineares Transformationsverfahren

Kamerakalibrierung

Tracking von Gesichtern/Personen:

Camshift

Statistische Methoden

Image Statistics

Morphing-Algorithmen


Aufbau der OpenCV Bibliothek

Anwendungsbeispiele, Demos etc.

highguieinfache,

plattformunabhängige

GUI-Funktionen

mlSammlung

(statistischer) Klassifikationsverfahren

cvGrundfunktionen

aus Bildverarbeitung

und Computervision

cvauxspezielle (z.T.

experimentelle) CV-

Funktionen

cxcoreBasisstrukturen und Basisoperationen


Kameraanbindung & Kalibrierung

Der Mensch erkennt Objekte schnell

Computer „sieht“ nur Zahlen

2D Bilder einer 3D Welt

schwierig 3D Abbildung zu erstellen

„projective transform“ :

Weltkoordinaten Bildkoordinaten



Homogene 3D Weltkoordinaten [X,Y,Z,1]

extrinsische Parameter

Homogene 2D Projektionskoordinaten [x´,y´,1]

intrinsische Parameter

2D Pixelkoordinaten [x,y]



Raumposition messen

Passpunkte müssen bekannt sein (mind. 4)

Position im Bild messen

Neuermittlung bei Änderungen

OpenCV benutzt Schachbrettmuster

Ecken sind leicht zu finden

und zu verfolgen




Videolink:

http://www.youtube.com/watch?v=DrXIQfQHFv

0


Mehr Licht führt zur schnelleren Entwicklung

Störungen: Licht, Reflektionen,

Standpunktänderungen etc.

Lichtstrahl: Objekt Linse Bildwandler



Krümmung Fischaugeneffekt (radial distortion)

Linse nicht parallel tangential verzerrtes Bild

(tangential distortion)



Radiale Verzerrung:

Skaliert den Abstand des

Bildpunktes zum Fokus, dem

Zentrum der Verzerrung

Tangentiale Verzerrung:

Entsteht durch Dezentralisierung

der Linsen

Im Vergleich sehr gering


Wichtige Methoden

cvCreateCameraCapture() (Kamera ansprechen)

cvCalibrateCamera2() (Ausrichtung auf eine

bekannte Struktur / identifizierbare Punkte)

cvSobel(), cvCanny()

cvPreCornerDetect(), cvFindContours()

(Konturen finden)

cvUpdateMotionHistory() (Tracking)

cvGoodFeaturesToTrack() (starke Eckpunkte im

Bild finden)


Codebeispiel

#include <cv.h>

#include <highgui.h>

IplImage* m_img_3 = 0; // Header

int main()

{

m_img_3 = cvCreateImage(m_sz, IPL_DEPTH_8U,1);

iplColorToGray(m_img,m_img_2); // zu Graubild umwandeln

cvvNamedWindow("Fenster2", 1); // Fenster für Graubild

cvvShowImage ("Fenster2", m_img_2); // Graubild

cvCanny ( m_img_2, m_img_3, 0, 50, 5); // Canny-Operator

// lowThresh = 0

// highThresh = 50

// apertureSize = 5

cvvNamedWindow ( "Fenster3", 1);

cvvShowImage ( "Fenster3", m_img_3); // Bild anzeigen

}

Kantendetektion mit Canny-Operator


Konturentest mit OpenCV


Videolink:

http://www.youtube.com/watch?v=J2w_6wpOyRo

Vielen Dank für Eure Aufmerksamkeit!


Tutorials & Beispiele

Offizielle Webseite ist:

http://www.intel.com/research/mrl/research/opencv/

Newsgroup: http://groups.yahoo.com/group/OpenCV

Download:OpenCV http://sourceforge.net/projects/opencvlibrary

Kamerakalibrierung:

http://www.vision.caltech.edu/bouguetj/calib_doc/

Webcam abfragen

http://www.online-tutorials.net/bildbearbeitung/webcam-mit-opencv-abfragen/sourcecodes-t-142-327.html

Prüfungsarbeit: „Grobbestimmung der Blickrichtung für eine Augenmaus als Benutzerinterface“ von Martin Schnurrenberger [Vorallem Projektablauf interessant]


Quellen

Prüfungsarbeit: „Grobbestimmung der Blickrichtung für eine Augenmaus als Benutzerinterface“ von Martin Schnurrenberger

„Kamera Kalibrierung“ Hauptseminar Augmented Reality, TUM-Lehrstuhl Klinker / Navab

„Hand Gesture Recognition in Natural State Based on Rotation Invarlance and OpenCV Realization“, von Baoyun Zhang, Ruwei Yun und Huaqing Qui

Broschüre Fachseminar des Bachelorstudiengangs Medieninformatik bei Prof. Dr. Ulrich Schwanecke, Hochschule RheinMain Wiesbaden

Seminararbeit „Intel OpenCV“ von Gunther Sudra, Universität Karlsruhe

Learning OpenCV, Computer Vision with the OpenCV Library, Gary Bradski & Adrian Kaehler, O´Reilly Verlag 2008


Quellen

Kamerabild:

http://www.ptgrey.com/products/fireflymv

Codebeispiel:

Seminararbeit „Intel OpenCV“ von Gunther Sudra, Universität Karlsruhe

Verzerrungsbild:http://upload.wikimedia.org/wikipedia/commons/thumb/c/ce/Geometrical_Aberration_de.svg/440px-Geometrical_Aberration_de.svg.png

Grafik Linse & Abbild:

http://www.puchner.org/Fotografie/technik/physik/abbildung.htm

Video zur Konturfindung: http://www.youtube.com/watch?v=J2w_6wpOyRo

Videos zur Kalibrierung:http://www.youtube.com/watch?v=bV-jAnQ-tvwhttp://www.youtube.com/watch?v=DrXIQfQHFv0




Documents

Kameraanbindung mit OpenCV - userpages · Einleitung & Allgemeines Open Source Bibliothek Basierend auf Image Processing Library Programmiersprache C++ Hohe Geschwindigkeit Lizenzfrei