51
Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die Katz? Luc Van Gool Prof. ETH, Computer Vision Lab

Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Embed Size (px)

Citation preview

Page 1: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Video-Security – News, Trends und Einsatz im AlltagSES-Fachtagung vom 04. November 2014, Zürich

Sicherheitstechnologie: fuer den Kunden oder fuer die Katz?Luc Van GoolProf. ETH, Computer Vision Lab

Page 2: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Wenn die Polizei die Uni anruft: ein Fall fuer Zwei(fel)

Page 3: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

IP Video surveillance systems

Video management software

Video analytics software

Page 4: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

IP Video surveillance systems

Video management software

Video analytics software

Page 5: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Surveillance videos often have quality issues

Page 6: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Video besteht aus einer Reihe von frames PAL laeuft ab an 25 fps ( frames pro Sekunde )

In einem traditionellen Video, wie zB PAL, enthaelt jedes frame 2 Felder, interlaced

INTERLACING

ungerades Feld

gerades Feld

Ein Frame

Page 7: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

INTERLACING

Ein frameZwei Felder

Page 8: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Jedes Video-Frame koenntealso aus einem geraden undeinem ungeraden Feld bestehen

Frame

Gerades Feld

Ungerades Feld

Page 9: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Kamera 1

Kamera 2

Ein frame kann so Informationenvon 2 Kameras enthalten

INTERLACING

Page 10: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

1 0 2 0 3 0 2 0 2 3 1 ...1 0

KAMERA 0 KAMERA 1 KAMERA 2 KAMERA 3

Tape (VHS)frame 0 frame 2

field 0 field 1 field 4 field 5

Auf einander folgende Bilder vielleicht von anderen Kameras

TIME LAPSED

Page 11: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

multiplexed input video

Page 12: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Basierend auf Kamera Kode

identification tagsder Kameras fuer spaetereAuswahl

Bilder der Kameraswerden automatischaussortiert

Page 13: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Jetzige Inhalte dieser Region werden als normal betrachtet

abnormaleSzenenwerden automatischdetektiert

Waehle eine Bildregion aus

Page 14: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Hintergrund Vorfall

Beispiel der Hintergrund substrahierungBeispiel der Hintergrund substrahierung

Vordergrund

Page 15: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Vorfaelle im UeberblickVorfaelle im Ueberblick

Benuetzerkoennen Kommentarehinzufuegen

Page 16: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Bilder mal schnell aufbessern:der alte... Traum

Page 17: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

IP-video surveillance systemsIP Video surveillance systems

Video management software

Video analytics software

Page 18: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Video Aufbesserung luminance gamma correction greyscale conversion threshold frame 2 field conversion similar / deviant frames median filter . . .

Eine Filtersequenz kann schematischAufgebaut werden

Page 19: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Mittelwerte ueber die Zeit hinwegMittelwerte ueber die Zeit hinweg

Page 20: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Mittelwerte ueber die Zeit hinwegMittelwerte ueber die Zeit hinweg

Page 21: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Mittelwerte ueber die Zeit hinwegMittelwerte ueber die Zeit hinweg

Page 22: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

eine Anzahl Bilder mit niedriger Aufloesung werden kombiniert zu einem Bild mit hoehere Aufloesung

SuperSuper -- AufloesungAufloesung

Page 23: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die
Page 24: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Originales Detail super – aufgeloestes Detail

40 Bilder wurden kombiniert die Aufloesung wurde ueber einem Faktor 4 verbessert

Page 25: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

super – aufgeloestes DetailOriginales Detail30 Bilder wurden kombiniert

die Aufloesung wurde ueber einem Faktor 4 verbessert

Page 26: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die
Page 27: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Bild mit geringem Kontrast

histogram equalisation

Erhoehung der Kontrastewobei man die Verteilungmoeglichst flach macht

unsharp masking

Zusaetliche Erhoehung der Kontraste,in der Naehe von Kanten

Page 28: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Tatort Vermessung

Page 29: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

IP-video surveillance systemsIP Video surveillance systems

Video management software

Video analytics software

Page 30: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Schaetzung der Laenge

Aus einem Bild

Page 31: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

? 148.0 cm87.3 cm

Schaetzung der Laenge

Page 32: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Schaetzung der Laenge

Page 33: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Messungwird von einigenFaktorenbeeinflusst

Schuhe Kopfhaltung

Einfluss der Szene : Genauigkeit der Referenz Laengen Objektpositions gegenueber Kam. Kamera hat sich nicht bewegt ??!! Geraden f. Horizontbestimmung Fuesse sichtbar oder nicht . . .

Bildqualitaet

Standpunkt des Kameras Koerperhaltung

Page 34: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Messungwird von einigenFaktorenbeeinflusst

Page 35: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

3D Rekonstruktion aus mehreren Bildern (zB mit Handkamera aufgezeichnet)

Page 36: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

usw usw

SICHERHEITSKAM

HANDKAM

Page 37: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die
Page 38: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Objekterkennung: mission impossible?Die Katze im Garten in der Nacht sollte kein Alarm ausloesen

Page 39: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

IP Video surveillance systems

Video management software

Video analytics software

Page 40: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Verbessert sich ueber die Zeit Unabhaengig vom Inhalt Effizientes processing

Patent application filed

Zusammen-fassungVorfaelle

Page 41: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Konzept der Aktivitaetsmodellierung

Mod

el

Activ

ity

specific

broad general

precise

Aktivitaetenunterscheide

n

neue Daten

interpretieren

Page 42: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

➔ Finde die abnormale Vorfaelle, inkl. die Moeglichkeit fuer

den Gebraucher um die Regel zu bestimmen, wie Vorfaelle

die dauerhaft zum Alarm fuehren sollten / timestamps / uzw

Zeit

Abnormalitaet

Page 43: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Beispiel 1: abnormales in time-lapsed Video von Times Square

Page 44: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Beispiel 2: nur relevante Vorfaelle innerhalb Region vom Interesse

Page 45: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die
Page 46: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

1. Motion detection

Page 47: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

relevant

irrelevant

relevant

relevantirrelevant

1. Motion detection2. Motion learning

Page 48: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

relevant

relevant

relevant

abnormal

normal

normal

irrelevant

irrelevant1. Motion detection2. Motion learning3. Event detection

Page 49: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

relevant

relevant

relevant

abnormal

normal

normal

truck

2 persons

car stopping

irrelevant

irrelevant1. Motion detection2. Motion learning3. Event detection4. Event labelling

Page 50: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

Unsere Soft wird schon von ETH spin-off upicto angewand(zB fuer die Kantonalpolizei Zuerich)

Dr. Fabian Nater upicto GmbH [email protected] Technoparkstrasse 1 +41 78 843 7311CH-8005 Zürich www.upicto.com

Page 51: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die

QUESTIONS ?