50
Kameraauswahl mit dem EMVA 1288 Standard Bernd J¨ ahne Vorsitzender EMVA 1288 Standardization Group Heidelberg Collaboratory for Image Processing (HCI) am Interdisziplin¨ ares Zentrum f¨ ur Wissenschaftliches Rechnen (IWR) Universit¨ at Heidelberg [email protected] STEMMER IMAGING Technologieforum, 03–04. November 2015 Hotel Dolce, M¨ unchen Bernd J¨ ahne (HCI, Universit¨ at Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 1 / 50

Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Kameraauswahl mit dem EMVA 1288 Standard

Bernd Jahne

Vorsitzender EMVA 1288 Standardization Group

Heidelberg Collaboratory for Image Processing (HCI)am Interdisziplinares Zentrum fur Wissenschaftliches Rechnen (IWR)

Universitat [email protected]

STEMMER IMAGING Technologieforum, 03–04. November 2015Hotel Dolce, Munchen

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 1 / 50

Page 2: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Gliederung

Gliederung

1 Einfuhrung EMVA 1288 Standard und Grundfragen

2 Schlusselgroße Signal/Rausch-Verhaltnis

3 Grundlage: Lineares Kameramodell (SNR)

4 Kamerakennlinie und Photontransferkurve

5 Messtechnik

6 Inhomogenitaten: DSNU, PRNU, Profile

7 Verbesserung der Inhomogenitaten

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 2 / 50

Page 3: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Einfuhrung

EMVA 1288 Standard

1 Objektive, vergleichbare Spezifikation ohne Optik

2 Umfassende Beschreibung mit moglichst wenig Parameter undAntwort auf Frage: “Beste Kamera fur meine Anwendung?”

3 Entwickelt von European Machine Vision Association (EMVA,www.emva.org) mit breiter Unterstutzung durch Kamerahersteller,Systemintegratoren und Distributoren

4 Globale Gultigkeit: Vertrag zwischen AIA, EMVA, JIIA und VDMAzur gegenseitigen Anerkennung von Standards

5 ISO Standards (ISO 14524 “Ermitteln der Kamerakennlinie” und ISO15739 “Bestimmung des Rauschens, des Signal-Rausch-Abstandes,des visuellen Rauschens und des Dynamikumfangs” wenig geeignet,da auf Comsumer-Produkte fokussiert

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 3 / 50

Page 4: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Einfuhrung

Was mussen wir uber eine Kamera wissen?

1 Wie empfindlich ist die Kamera?Wie groß ist Signal im Verhaltnis zum Rauschen? bestimmt Nachweisgrenze (kleinste Bestrahlung)Was ist das großte Bestrahlung? Sattigungskapazitat

2 Wie unterschiedlich sind die einzelnen Pixel?Inhomogenitaten im Dunkelbild und der Empfindlichkeit

3 Wie viel Signal wird ohne Licht erzeugt (Dunkelstrom)?

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 4 / 50

Page 5: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Schlusselgroße SNR

Schlusselparameter Signal/Rausch-Verhaltnis (SNR)

Definition

SNR =µy − µy .dark

σy(1)

SNR = 100 bedeutet Signal 100 mal großer als Rauschen

Auge kann SNR < 50 sehen.

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 5 / 50

Page 6: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Schlusselgroße SNR

SNR in doppelt-logarithmischer Darstellung

100

101

102

103

104

105

106

10−1

100

101

102

103

SNR m0773, 534 nm, 24.09.2015

irradiation (photons/pixel)

SN

R

satu

ratio

n

thre

shol

d S

NR

= 1

mono datamono fitmono fit totaltheor. limit

sCMOS Kamera pco.edgeBernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 6 / 50

Page 7: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Schlusselgroße SNR

SNR in doppelt-logarithmischer Darstellung

100

101

102

103

104

105

106

10−1

100

101

102

103

SNR m0790, 534 nm, 27.09.2015

irradiation (photons/pixel)

SN

R

satu

ratio

n

thre

shol

d S

NR

= 1

mono datamono fitmono fit totaltheor. limit

Basler acA640-120gm mit Sony CCD SensorBernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 7 / 50

Page 8: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Schlusselgroße SNR

SNR in doppelt-logarithmischer Darstellung

100

101

102

103

104

105

106

10−1

100

101

102

103

SNR m0791, 534 nm, 27.09.2015

irradiation (photons/pixel)

SN

R

satu

ratio

n

thre

shol

d S

NR

= 1

mono datamono fitmono fit totaltheor. limit

Basler acA2500-14gm mit rolling shutter CMOS sensorBernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 8 / 50

Page 9: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Schlusselgroße SNR

SNR in doppelt-logarithmischer Darstellung

100

101

102

103

104

105

106

10−1

100

101

102

103

SNR m0637, 534 nm, 18.07.2015

irradiation (photons/pixel)

SN

R

satu

ratio

n

thre

shol

d S

NR

= 1

mono datamono fitmono fit totaltheor. limit

IDS UI306xCP-M mit Sony Pregius CMOS IMX174Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 9 / 50

Page 10: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Lineares Kameramodell und Photontransfermethode Lineares Kameramodell

Lineares KameramodellPhysik der Bildgewinnung gut verstanden

42

A number of photons ...

... hitting the pixel area during exposure time ...

... creating a number of electrons ...

... forming a charge which is converted by a capacitor to a voltage ...

... being amplified ...

... and digitized ...

... resulting in the digital gray value.

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 10 / 50

Page 11: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Lineares Kameramodell und Photontransfermethode Lineares Kameramodell

Physikalisches Modell der Bildgewinnung

quantume�ciency

systemgain

number ofphotons

number ofelectrons

digitalgrey value

dark noise quantization noise

photonnoise

2µy σy,

µd σd, 2

µp σp, µe µe,

tuptuotupni black box camera

2

2

Black-Box-Modell mit Eingabe µp und Ausgabe µy

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 11 / 50

Page 12: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Lineares Kameramodell und Photontransfermethode Lineares Kameramodell

Physikalisches Modell der Bildgewinnung

quantumefficiency

system gain

number ofphotons

number ofelectrons

digital grey value

dark noise quantization noise

photonnoise

2µy σy,

µd σd, 2

µp σp, µe σe,

input outputsensor/camera

2

2 2

Unbekannte Modellparameter Quantenausbeute η, Kameraverstarkung Kin DN/e− und Dunkelrauschen σd (µd unwesentlich)aus gemessenen Großen µp, µy und σ2

y berechnen

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 12 / 50

Page 13: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Lineares Kameramodell und Photontransfermethode Kamerakennlinie

Kamerakennlinie

1 Ladungserzeugung mit Quantenausbeute η

µe = ηµp (2)

Quantenausbeute bezogen auf volle Sensorgroßeµp Mittlere Photonenzahl akkumuliert uber Belichtungszeitµe Mittlere Anzahl akkumulierter Ladungstrager

2 Digitaler Grauwert als Funktion der Photonenzahl:

µy = K (η µp + µd), µy − µy .dark = Kη︸︷︷︸Steigung

µp = b1 µp (3)

µy Digitaler Grauwert in DNµd Dunkelsignal in Anzahl Ladungstrager [e−]µy .dark Dunkelsignal in DN

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 13 / 50

Page 14: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Lineares Kameramodell und Photontransfermethode Photonentransfermethode

Photontransferkurve

1 Berechnung des Signalrauschens durch Addition der Varianzen

σ2y = K 2

(σ2d + σ2

e

)+ σ2

q (4)

σ2q = 1/12 [DN2] Varianz Quantisierungsrauschens

σ2d Varianz Dunkelsignals

σ2e = µe =

µy − µy .dark

KVarianz Photoelektronen

2 Varianz des digitalen Grauwerts versus mittleren digitalen Grauwert:

σ2y = K 2σ2

d + σ2q︸ ︷︷ ︸

Offset

+ K︸︷︷︸Steigung

(µy − µy .dark) = a0 + a1(µy − µy .dark) (5)

Alle Unbekannten des linearen Kameramodells konnen bestimmt werden:Kameraverstarkung K = a1

Dunkelrauschen σ2d = (a0 − σ2

q)/K 2

Quantenausbeute η = b1/a1

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 14 / 50

Page 15: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Lineares Kameramodell und Photontransfermethode Beispiele Kamerakennlinie

Gute Kamerakennlinie

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5

x 104

0

500

1000

1500

2000

2500

3000

3500

4000

Sensitivity m0637, 534 nm, 18.07.2015

irradiation (photons/pixel)

gray

val

ue −

dar

k va

lue

µy−

µ y.da

rk (

DN

)

mono: µy.dark

= 7.80 DN

mono datamono fit

IDS UI306xCP-M mit Sony Pregius CMOS IMX174

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 15 / 50

Page 16: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Lineares Kameramodell und Photontransfermethode Beispiele Photontransferkurve

Gute Photontransferkurve

0 500 1000 1500 2000 2500 3000 3500 40000

100

200

300

400

500

600Photon transfer m0637, 534 nm, 18.07.2015

gray value − dark value µy−µ

y.dark (DN)

varia

nce

gray

val

ue σ

y2 −σ y.

dark

2 (

DN

2 )

mono: σy.dark2 = 0.65 DN2, K = 0.123 ± 0.3%

saturation

mono datamono fit

Sony XCG 5005E

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 16 / 50

Page 17: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Lineares Kameramodell und Photontransfermethode Beispiele Photontransferkurve

Photontransferkurve: Einfluss von schlechtem ADC

0 200 400 600 800 10000

2

4

6

8

10

12

14

16

Var. & gain c822 27.02.2008

Mean gray value (DN)

Var

ianc

e gr

ay v

alue

(D

N2 )

K = 2.91E−002 DN/e

σ0 = 0.9 DN = 30.1 e−

η = 0.849

Starke Schwankungen der Varianz Missing codes in ADC

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 17 / 50

Page 18: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Lineares Kameramodell und Photontransfermethode Beispiele Photontransferkurve

Kamerakennlinie: Einfluss von schlechtem ADC

0 0.5 1 1.5 2 2.5 3 3.5

x 104

0

100

200

300

400

500

600

700

800

900

Sensitivity c822 27.02.2008

Radiation energy Q (Photons/pixel)

Mea

n gr

ay v

alue

(D

N)

Kη = 2.47E−002 DN/p

Zugehorige Kamerakennlinie:Probleme kaum sichtbar

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 18 / 50

Page 19: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Lineares Kameramodell und Photontransfermethode Beispiele Photontransferkurve

Berechnung SNR aus linearem Kameramodell

SNR(µp) =ηµp√

σ2d + σ2

q/K 2 + ηµp(6)

Grenzfalle:

SNR(µp) ≈

√ηµp ηµp � σ2

d

ηµp√σ2d + σ2

q/K 2ηµp � σ2

d

(7)

Ideale Kamera (η = 1, σd = 0):

SNRideal =õp (8)

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 19 / 50

Page 20: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Lineares Kameramodell und Photontransfermethode Messgroßen

SNR und abgeleitete Großen

Absolute Empfindlichkeitsschwelle:

µp(SNR = 1) = µp.min ≈1

η

(σy .dark

K+

1

2

)(9)

Sattigungskapazitat µp.sat (6= full-well capacity):Photonenzahl bei maximaler Grauwertvarianz

Maximales SNR:

SNRmax =√η µp.sat (10)

Signalumfang (dynamic range DR):

DR =µp.sat

µp.min≈ µy .sat

µy .min(11)

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 20 / 50

Page 21: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Lineares Kameramodell und Photontransfermethode Messgroßen

Spektrale Empfindlichkeit NIR CMOS-Kamera

300 400 500 600 700 800 900 1000 11000

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

wavelength λ (nm)

quan

tum

effi

cien

cy η

m0096, 23.08.2009

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 21 / 50

Page 22: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Zur Messtechnik Lichtquelle und Bestrahlungsvariation

Bestrahlung des Sensors ohne OptikAufnahme Kennlinie und Rauschen bedingt Messungen bei Serie vonBestrahlungen

sensordis

k-s

hap

ed lig

ht sou

rce

mount

d

D D'

Beleuchtung mit homogener und isotroper Lichtquelle entsprechendBlende 8:

f# =d

D d = 8D (12)

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 22 / 50

Page 23: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Zur Messtechnik Lichtquelle und Bestrahlungsvariation

Warum vorgegebener Beleuchtungskegel?

Bildsensor ist komplexes optoelektronisches Bauelement . . .

(Quelle Sony)

. . . mit blendenabhangiger Empfindlichkeit

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 23 / 50

Page 24: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Zur Messtechnik Messaufbau und Kalibrierung

Beispiel fur Messaufbau

Kommerzielles System ACC2 von AEON ohne Ulbrichtkugel

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 24 / 50

Page 25: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Arten von Inhomogenitaten

Messgroßen Inhomogenitaten

DSNU: dark signal nonuniformityRaumliche Variation des DunkelsignalsOft auch fixed pattern noise genanntIm Gegensatz zum zeitlichen Rauschen ist DSNU korrigierbar!

PRNU: photo response nonuniformityRaumliche Variation des Empfindlichkeit

DCNU: dark current nonuniformityRaumliche Variation des Dunkelstroms (nicht im Standard)

FWNU: full well nonuniformityRaumliche Variation der Sattigungskapazitat(nicht im Standard)

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 25 / 50

Page 26: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Arten von Inhomogenitaten

Arten raumlicher Variation

Rein zufallig: weißes Rauschen, gleichmaßig uber alle Frequenzenverteilt: flaches Spektrum

Allmahliche Anderungen: Produktionsbedingte Schwankungen

Periodische Schwankung: Einfluss von Storsignalen, elektronischesUbersprechen

Ausreißer: Einzelne oder Cluster von Sensorelementen zeigen starkeAbweichungen; im Extremfall komplett nichtfunktionale Pixel

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 26 / 50

Page 27: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Arten von Inhomogenitaten

Beschreibung der Inhomogenitaten

Statistische Beschreibung durch Varianz bzw. Standardabweichung

Frequenzzerlegung durch Spektrogrammmethode

Defekte Pixel = Ausreißer in Histogrammen

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 27 / 50

Page 28: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Statistische Analyse

DSNU1288 und PRNU1288

DSNU1288: Raumliche Standardabweichung Dunkelbild, ydark

DSNU1288 = sy .dark (13)

Einheiten DN oder e−

PRNU1288: Relative raumliche StandardabweichungEmpfindlichkeitsbild bei 50% Sattigung, r = y50 − ydark

PRNU1288 =srµr· 100[%] (14)

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 28 / 50

Page 29: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Horizontale und vertikale Profile

Horizontale und vertikale Profile

Zeile/Spalte in der Mitte: zeigt typische Zeile

Mittelwert: zeigt mittleren horizontalen bzw. vertikalen Verlauf mitminimalem Rauschen

Maximalwert: zeigt gut selbst wenige Ausreißer nach oben (z.B.“heiße Pixel”)

Minimalwert: zeigt gut selbst wenige Ausreißer nach unten (z.B.weniger empfindliche Pixel)

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 29 / 50

Page 30: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Horizontale und vertikale Profile

Horizontale DSNU Profile

0 200 400 600 800 1000 1200 1400 1600 1800 2000−5

0

5

10

15

20

25

30Horizontal lines DSNU m0124, 529nm, 08.10.2011

Pixel position

dark

gra

y va

lue

(DN

)

minmeanmiddlemax

Schnelle high-end CMOS camera

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 30 / 50

Page 31: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Horizontale und vertikale Profile

Horizontale PRNU Profile

0 200 400 600 800 1000 1200 1400 1600 1800 200088

90

92

94

96

98

100

102

104

106Horizontal lines PRNU m0124, 529nm, 08.10.2011

Pixel position

rel.

sens

itivi

ty (

%)

minmeanmiddlemax

Schnelle high-end CMOS camera

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 31 / 50

Page 32: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Abhangigkeit PRNU von Sattigung

Abhangigkeit PRNU von Sattigung?

PRNU nur bei 50% Sattigung gemessen; relative PRNU sollte nachlinearem Kameramodell fur alle Sattigungen gleich sein

y − ydark

µy − µy .dark=

y50 − ydark

µy .50 − µy .dark(15)

Korrektur der PRNU bei allen Sattigungen durch

y′ =y − ydark

y50 − ydark

(µy .50 − µy .dark) (16)

(Entspricht einfacher linearer Zwei-Punkt-Kalibrierung)

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 32 / 50

Page 33: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Abhangigkeit PRNU von Sattigung

Korrigierte Profile

0 500 1000 1500 2000 2500−10

−5

0

5

10Horizontal lines PRNU m0550, 532nm, 02.11.2014

pixel position

rel.

sens

itivi

ty (

%)

minmiddlemaxmean

0 500 1000 1500 2000 2500−2

−1

0

1

2Residual PRNU m0550, 532nm, 02.11.2014

pixel position

rel.

sens

itivi

ty (

%)

10% sat.100% sat.

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 33 / 50

Page 34: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Abhangigkeit PRNU von Sattigung

Korrigierte PRNU in Zahlen

Saturation µy σy sy σy.res sy.corr sy.corr sy.corr/sy% DN DN DN DN DN % %

0 98.88 3.75 0.60 0.17 0.00 0.00 0.0010 6109.54 125.29 107.87 5.54 17.77 0.29 16.4820 12743.55 178.58 126.81 7.89 20.05 0.16 15.8130 19286.85 218.68 150.05 9.66 19.52 0.10 13.0140 25445.95 249.57 172.60 11.03 17.39 0.07 10.0750 31975.75 275.77 198.88 12.19 0.73 0.00 0.3760 38569.87 301.77 224.83 13.34 23.84 0.06 10.6070 45107.73 321.35 250.23 14.20 34.66 0.08 13.8580 51364.26 337.80 274.46 14.93 48.93 0.10 17.8390 57380.57 352.53 298.89 15.58 64.07 0.11 21.44

100 63698.04 366.55 327.16 16.20 79.74 0.12 24.37

Weiter Reduktion der PRNU auf weniger als 1/4

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 34 / 50

Page 35: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Abhangigkeit PRNU von Wellenlange

Abhangigkeit PRNU von Wellenlange der Bestrahlung

0 500 1000 1500 2000 2500−5

0

5Residual color PRNU m0791, 27.09.2015

pixel position

rel.

sens

itivi

ty (

%)

466 nm534 nm630 nm848 nm

Basler acA2500-14gm mit rolling shutter CMOS Sensor

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 35 / 50

Page 36: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Abhangigkeit PRNU von Wellenlange

Abhangigkeit PRNU von Wellenlange der Bestrahlung

0 500 1000 1500 2000 2500−5

0

5Residual color PRNU m0774, 24.09.2015

pixel position

rel.

sens

itivi

ty (

%)

466 nm534 nm630 nm848 nm

PCO edge5.5 USB 3.0 sCMOS

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 36 / 50

Page 37: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Abhangigkeit PRNU von Wellenlange

Abhangigkeit PRNU von Wellenlange der Bestrahlung

0 200 400 600 800 1000 1200 1400 1600 1800−5

0

5Residual color PRNU m0727, 19.08.2015

pixel position

rel.

sens

itivi

ty (

%)

466 nm534 nm630 nm

Basler acA1920-155um mit Sony Pregius CMOS IMX174

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 37 / 50

Page 38: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Totale SNR

Totale SNR

Addition der Varianzen von zeitlichem Rauschen und raumlicherInhomogenitat in Einheiten e−:

Varianz DSNU: s2y .dark = DSNU2

1288

Varianz PRNU: PRNU21288 (ηµp)2

totale SNRtotal

SNRtotal(µp) =ηµp√

σ2d + DSNU2

1288 + σ2q/K 2 + ηµp + PRNU2

1288 (ηµp)2

(17)

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 38 / 50

Page 39: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Inhomogenitaten: DSNU und PRNU Totale SNR

Wer mehr wissen will . . .

Auf diesem Forum: Ausstellung von EMVA 1288 Testgeraten durch AEON

EMVA 1288 Standard und Datenblatter:http://zenodo.org/collection/user-emva1288

Hersteller von Testgeraten und Serviceleistungen EMVA 1288:

AEON, Hanau, http://www.aeon.de

Aphesa, Belgien, http://www.aphesa.com

Image Engineering, Koln (Schwerpunkt ISO Standards),http://www.image-engineering.de/

Schulungsangebote mit praktischen Demonstrationen:

08–09.12.2015, Framos Munchen: EMVA 1288 Kurs

08.02.2016, AEON Hanau: Bildsensoren

09-10.02.2016, AEON Hanau: EMVA 1288 Kurs

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 39 / 50

Page 40: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Weiterfuhrendes Material

Literatur I

G. C. Holst and T. S. Lomheim.CMOS/CCD Sensors and Camera Systems, 2. Aufl.SPIE Press, 2011, http://spie.org/Publications/Book/890909.

B. Jahne.Digitale Bildverarbeitung und Bildgewinnung.Springer, Berlin, 7. Auflage, 2012,http://dx.doi.org/10.1007/978-3-642-04952-1.

J. R. Janesick.Scientific Carge-Coupled Devices.SPIE Press, 2001, http://spie.org/Publications/Book/374903.

G. Schroder und H. Treiber.Technische Optik, 11. Auflage.Vogel, Wurzburg, 2014, http://www.vogel-buchverlag.de/product_info.php/info/p188_Technische-Optik.html.

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 40 / 50

Page 41: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Weiterfuhrendes Material

Literatur II

B. Widrow und I. Kollar.Quantization Noise — Roundoff Error in Digital Computation, SignalProcessing, Control, and Communications.Cambridge Univ. Press, 2008,http://www.cambridge.org/9780521886710.

European Machine Vision Association (EMVA).EMVA Standard 1288. Standard for Characterization of Image Sensorsand Cameras.Release 3.0, 26. November 2010https://zenodo.org/record/10696

Release candidate 3.1, November 2012www.standard1288.org

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 41 / 50

Page 42: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Weiterfuhrendes Material

Literatur III

EMVA 1288 DatenblatterNach Musterdatenblatt zu Release 3:https://zenodo.org/collection/user-emva1288

EMVA 1288 DatenblatterBasler, noch Release 2:http://www.baslerweb.com/de/support/download-uebersicht/

downloads-dokumente?type=14&series=0&model=0

EMVA 1288 DatenblatterPoint Grey, nur Parameter:http://www.ptgrey.com/point-grey/10545?utm_source=

SensorReview

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 42 / 50

Page 43: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Weiterfuhrendes Material

Literatur IV

M. Erz and B. Jahne.Radiometric and Spectrometric Calibrations, and Distance NoiseMeasurement of TOF Cameras.3rd Workshop on Dynamic 3-D Imaging, Lecture Notes in ComputerScience, 5742, 28–41, Springer, Berlin, 2009,http://dx.doi.org/10.1007/978-3-642-03778-8_3.

M. Erz und B. Jahne.Optimale Kameraauswahl fur maschinelles Sehen durch standardisierteCharakterisierung.Technisches Messen 78, 377–383, 2011,http://dx.doi.org/10.1524/teme.2011.0151.

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 43 / 50

Page 44: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Weiterfuhrendes Material

Literatur V

B. Jahne.Objektive Kriterien unterstutzen die anwendungsorientierte Auswahleiner Kamera.Intelligenter Produzieren Nr. 5, 8–10, VDMA, 2009.

B. Jahne.EMVA 1288 standard for machine vision — objective specification ofvital camera data.Optik & Photonik Nr. 1, 53–54, 2010,http://dx.doi.org/10.1002/opph.201190082.

B. Jahne.Der Standard EMVA 1288: Objektive Charakterisierung vonBildsensoren und digitalen Kameras.Elektronik, Heft 22, 2011.

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 44 / 50

Page 45: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Weiterfuhrendes Material

Literatur VI

B. Jahne.Objektive Charakterisierung von Bildsensoren und digitalen Kameras— Standard 1288 der European Machine Vision Association (EMVA1288).FKT, 5/2012.

B. Jahne.Objektive Comparison of Machine Vision Cameras; PracticalExperiences with the EMVA 1288 Standard.Inspect, 7/2013.

J. Janesick, K. Klaasen, and T. ElliottCCD Characterization using the photon transfer technique.SPIE Proc. 570, Solid State Imaging Arrays, pp. 7–19, 1985,http://dx.doi.org/10.1117/12.950297.

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 45 / 50

Page 46: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Anwendungsbeispiele

Anwendungsbeispiel I: Genugend Licht vorhanden

Maximale SNR entscheidender Qualitatsparameter

SNRmax =√ηµp.sat (18)

kritischer Parameter: Sattigungskapazitat

Kamera A B C D E

SNRmax 95.7 74.3 69.6 106.6 124.0SNR 50% Sattigung 67.4 51.7 49.1 74.9 87.7SNR 10% Sattigung 29.4 20.7 31.9 31.9 39.2

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 46 / 50

Page 47: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Anwendungsbeispiele

Anwendungsbeispiel II: Konstante Bestrahlung/Pixel

Qualitatsparmeter SNR bei vorgegebener konstanter Bestrahlung/Pixel(ckann aus SNR-Plot abgelesen werden) kritischer Parameter Quantenausbeute (bei viel Licht) kritischer Parameter Dunkelrauschen (bei wenig Licht)

Kamera A B C D E

SNR(5000 Photonen/Pixel) 52.4 47.7 53.1 53.4 53.4SNR(100 Photonen/Pixel) 5.3 3.2 6.1 4.1 7.4SNR(10 Photonen/Pixel) 0.70 0.36 0.95 0.47 2.1

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 47 / 50

Page 48: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Anwendungsbeispiele

Anwendungsbeispiel III: Konstante Bestrahlung/Flache

Qualitatsparmeter SNR bei vorgegebener konstanter Bestrahlung/Flache)

SNR(Ep) =

{√ηEpA high irradiation

ηEpA/σd low irradiation(19)

Kamera A B C D E

SNR(500 Photonen/µm2) 73.3 52.4 36.7 94.5 109.7SNR(50 Photonen/µm2) 22.1 13.4 10.6 27.9 34.7SNR(10 Photonen/µm2) 8.4 3.7 3.6 9.9 15.5

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 48 / 50

Page 49: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Anwendungsbeispiele

Anwendungsbeispiel IV: Empfindlichste Kamera

Kritischer Qualitatsparameter: kleinste Empfindlichkeitsschwelle MinimalesDunkelrauschen ausschlaggebend

µp.min =1

η

(σd +

1

2

). (20)

Kamera A B C D E

Empfindlichkeitsschwelle (photons/pixel) 15 29 11 22 3Empfindlichkeitsschwelle (photons/µm2) 0.77 2.4 2.3 0.7 0.07

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 49 / 50

Page 50: Kameraauswahl mit dem EMVA 1288 Standard-1empages.stemmer-imaging.de/techforum-download/pdf/Kameraauswahl-mit-dem... · Kameraauswahl mit dem EMVA 1288 Standard Bernd J ahne Vorsitzender

Anwendungsbeispiele

Anwendungsbeispiel V: Hoher Signalumfang

Kritische Qualitatsparameter sowohl niedrige Empfindlichkeitsschwelle alsauch hohe Sattigungskapazitat: Hochster Dynamic Range DRausschlaggebend

DR =µp.sat

µp.min. (21)

Kamera A B C D E

Dynamic Range DR 1118 405 800 860 9133

Bernd Jahne (HCI, Universitat Heidelberg) EMVA 1288 Standard 03–04. Nov. 2015 50 / 50