Angriffe auf KI-Systeme - security-management.de · Reese Witherspoon wird durch Hinzufügen einer Brille mit speziell präpariertem Muster vom Gesichtserkennungssystem als Russel

Angriffe auf KI-Systeme

- Was lernen wir daraus ? -

Markus Ullmann

Markus Ullmann | 17.01.2019 | Seite 2

Agenda

1. Einführung2. Biometrische Gesichtserkennung basierend auf Landmarks

• Funktion• Angriffe

3. Biometrische Gesichtserkennung basierend auf Neuronalen Netzen• Funktion• Angriffe

4. Automatisiertes Fahren: Angriffe Verkehrszeichenerkennung5. Angriffe auf KI-Verfahren: Was wissen wir und was lernen wir

daraus ?6. Fazit


Technologische Grundlagen sicherer elektronischer Identitäten, Chipsicherheit

1. Biometrische Verfahren0

Fakes/ Erkennungstechnologien

Morphing-Detektion

2. Technische Unterstützung Digitalisierung

3. Physical Layer Security

Physical Fingerprinting

VorgabenStandardsRichtlinien

Sicherheit biometrischer Merkmale: Template Protection Verfahren


Funktionsprinzip Biometrie - Gesichtserkennung -

“Landmarks”


Biometrische Gesichtserkennung- Angriffsvektor zur Erzielung falscher Identität -

• Angriffsvektor: Gesichtsnachbildungen (Fakes)

“Referenz” “Live”


Maschinelle Lernverfahren- Neuronale Netze -

© Fraunhofer Gesellschaft

Vorgehen

1. Lernphase2. Testphase3. Anwendungsphase


Biometrische Gesichtserkennung – Maschinelles Lernen, Lernphase -


“Referenz”

“Referenz”

“Live”

“Live”

Große Ähnlichkeit

Geringe Ähnlichkeit

.

.

.



Adversarial Attacks- Anwendung auf Biometrische Gesichtserkennung -

Vorausetzung: ● Trainierte und getestete „ML-Struktur“, z.B. Neuronales Netz, zur

Gesichtserkennung

Ausnutzung Fehlklassifikation der „ML-Struktur“ durch veränderte Eingangsdaten (Gesichtsbilder)


Gesichtsbiometrie- Adversarial Attacks in der Anwendungsphase -

Publikation: Sharif, Bhagavatula, Bauer and Reiter: Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition. Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security (CCS '16). ACM, 2016

Reese Witherspoon wird durch Hinzufügen einer Brille mit speziell präpariertem Muster vom Gesichtserkennungssystem als Russel Crowe identifiziert.


Biometrische Gesichtserkennung (ML)- Angriffsvektoren -

• Falsche Identität mittels Gesichts-Nachbildung

• Falsche Identität mittels Adversarial Attack


Automatisiertes Fahren- sehr vereinfacht -

1.Erfassung von Fahrzeug - Umfelddaten über Sensoren• Lidar• Radar• Ultraschall• Kamera

2.Auswertung der Sensor-Daten• Kamera

• „Objekt-Erkennung“:• Fussgänger / Radfahrer• Vorausfahrende Fahrzeuge• Verkehrsschilderkennung• ...

3.Ableitung von Fahrentscheidungen


Verkehrsschilderkennung – Maschinelles Lernen, Lernphase -


“Referenz”

“Referenz”

“Live”

“Live”

Große Ähnlichkeit


.

.

.


Verkehrsschilderkennung – Maschinelles Lernen, Lernphase, Backdoor -


“Referenz” “Live”

Große Ähnlichkeit


Automatisiertes Fahren- Verkehrsschilderkennung -


Adversarial „Attacks“- Verkehrsschilderkennung -

Voraussetzung:• Trainierte und getestete „ML-Struktur“, z.B. Neuronales Netz zur

Verkehrsschilderkennung

Ausnutzung Fehlklassifikation der ML-Struktur durch veränderte Eingangsdaten (Verkehrsschilder)


Verkehrszeichen-Erkennung - Adversarial Attacks in der Anwendungsphase -

Publikation: Gu, Dolan-Gavitt and Garg: BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain, arXiv:1708.06733v1, 2017


Angriffe auf Maschinelle Lernverfahren (1 von 2)- Was wissen wir ? -

1. Erkenntnis: Anwendungen auf Basis maschineller Lernverfahren bieten prinzipiell neue Angriffsflächen !

2. Aber immer spezielles „Setting“• KI-Verfahren / Netztopologie • Anwendung• Lernsamples• Angriffsvektoren

3. Sind Angriffe übertragbar bzw. generalsierbar ?4. Anwendung maschineller Lernverfahren erfordert Lern-, Test- und

Anwendungsphase• Phasenspezifische Angriffe (Lern- und Anwendungsphase)

5. Grundsätzlich: Gute „Verteidigungsmaßnahmen“ erfordern immer ein gutes Problem-/Angriffsverständnis


Angriffe auf Maschinelle Lernverfahren (2 von 2)- Was lernen wir daraus ? -

1. Angreifbarkeit maschineller Lernverfahren muss viel grundlegender untersucht werden• ...• BSI: Angriffsvektoren über die komplette Prozesskette an einer

überschaubaren Anwendung (Verkehrsschilderkennung) exemplarisch untersuchen

2. Einsatzfelder für Maschinelle Lernverfahren: Problemklassen, die nicht gut algorithmisch beschreiben sind

3. Problembeschreibung liegt implizit im Datenbestand

„Grundübel“: Insbesondere tiefe Neuronale Netze sind aufgrund des großen Zustandsraums schwer zu analysieren und stellen somit eine Art „Black Box“ dar?


Vielen Dankfür Ihre Aufmerksamkeit!

Kontakt

Prof. Dipl.-Ing Markus [email protected]. +49 (0) 228 99 9582 5268Fax +49 (0) 228 10 99 9582 5268

Bundesamt für Sicherheit in der InformationstechnikReferat D14Heinemannstr. 11-1353175 Bonnwww.bsi.bund.de

Documents

Angriffe auf KI-Systeme - security-management.de · Reese Witherspoon wird durch Hinzufügen einer Brille mit speziell präpariertem Muster vom Gesichtserkennungssystem als Russel