View
3
Download
0
Category
Preview:
Citation preview
Ein Referenzmodell für eine
vertrauenswürdige KI Vorstellung eines
neuen VDE-Standards
VDE Tec Summit 2020, Berlin
Workshop II
2020-02-27
Akteure der aktuellen Debatte
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE
…und viele mehr.
Anforderungen an KI
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE
Quelle: HLEG
KI-Strategie der Bundesregierung
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE
Quelle: Strategie Künstliche Intelligenz der Bundesregierung, Stand 2018.
Standards setzen:
„Die Bundesregierung sieht sich in einer gesamtstaatlichen Verantwortung dafür, den
Ordnungsrahmen für die Wirtschaft zu setzen und damit auch dafür, sich für Standards
und Normsetzung auf nationaler, europäischer und internationaler Ebene durch die
nationalen Normungsorganisationen DIN/DKE einzusetzen.“
Ziele:
„Wir wollen Deutschland und Europa zu einem führenden KI-Standort machen und so zur
Sicherung der künftigen Wettbewerbsfähigkeit Deutschlands beitragen.“
„Unser Ziel ist eine verantwortungsvolle und gemeinwohlorientierte Entwicklung und
Nutzung von KI.“
VDE-Standard VDE-AR-E 2842-61„Entwicklung und Vertrauenswürdigkeit von autonomen/kognitiven Systemen“
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE
▪ DKE-Gremium AK801.0.8; seit 2018
▪ 48 Expertinnen und Experten aus Wissenschaft,
Forschung, Industrie, Verbraucherschutz und
Prüfung
▪ Domänenübergreifende Anwendung (Automotive,
Industry, Health, IT, u.v.m.)
▪ Erarbeitung von sieben Teilen anhand des KI-
Lifecycles
▪ Aktuell über 160 Seiten
▪ Veröffentlichung sukzessive; Teil 1 in 2020.
Vorstellung der
VDE-AR-E 2842-61
Ein Referenzmodell für
vertrauenswürdige KI:
Vorstellung eines neuen VDE-Standards
Dr. H.J. Putzer (fortiss & cogitron)
VDE Tec Summit 2020, Berlin - Workshop II
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 7
▪ KI: erstaunliche Resultate (positiv & negativ)
▪ KI im sicherheitsrelevanten Kontext nutzbar ?
▪ Wie konstruiert man KI nachweislich vertrauenswürdig ?
VDE-AR-2842-61 Vorstellung
Stand der Technik
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 8
Cop
yrig
ht: p
ixel
blis
s Fo
tolia
▪ KI: erstaunliche Resultate (positiv & negativ)
▪ KI im sicherheitsrelevanten Kontext nutzbar ?
▪ Wie konstruiert man KI nachweislich vertrauenswürdig ?
VDE-AR-2842-61 Vorstellung
Stand der Technik
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 9
VDE-AR-E 2842-61
„Entwicklung und Vertrauenswürdigkeit von autonom/kognitiven Systemen“
▪ NN = Engineering-Methode / neue Technologie
• KI/NN realisiert implizite Anforderungen aus Daten
• KI/NN-Technologie (& Eigenschaften) nicht vollständig verstanden
▪ NN zeigen bekannte Probleme der Automation (Billings, 1997)
• complexity / brittleness / opacity / literalism
• Verantwortung liegt beim Entwickler und Nutzer, nicht bei der KI
▪ Lösung: Autonom/Kognitive Systeme (als Eigenname)
• Neues Paradigma:
komplexe Systeme, Trustworthiness, KI-Technologie (KI Element)
• Ziele: Verifikation, Zulassung und Zertifizierung
• Ansatz: Framework, Prozess, Methoden, Maßnahmen & Werkzeuge
VDE-AR-2842-61 Vorstellung
Stand der Technik – eine unaufgeregte Sichtweise
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 10
Künstliche Intelligenz (KI)
Maschinelles Lernen (ML)
Neuronale Netze (NN)
▪ Strukturierter Ansatz
• Generisches Framework inkl. Risiko-Mgt.
• Lebenszyklus, Phasen, Aktivitäten
• Leicht integrierbar
▪ Künstliche Intelligenz und darüber hinaus
• Solution-Ebene (über System, mit Nutzer)
• Trustworthiness Analysis & TPL
• Hierarchischer Ansatz (System-Ebene)
▪ Künstliche Intelligenz adressiert
• KI-Blueprint (Prozess-Plugin je KI-Tech.)
• Handhabung von Unsicherheiten (UCI)
VDE-AR-2842-61 Einleitung
Etablierten Lebenszyklus erweitern
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 11
VDE-AR-2842-61 Einleitung
Lebenszyklusmodell als Schnitte im V-Modell (1)
2020-01-31 AK 801.0.8 - Mgt, Figures & Background 12
3-6 Initiation
3-7 Solution Concept
4-7 Autonomous/Cognitive System 4-8 I&V of the System
6 After Release
of the Solution
3-8 Trustworthiness Analysis
back to
appropriate phase
of the lifecycle
3-9 IV&V of the Solution
3-10 Acceptance and Release
Part 5Development atTechnology Level
Part 4Development atSystem Level
Part 3Development atSolution Level
Part 6
5 Technological Element
5-7 AI-Development 5-8 Other
TechnologyDevelopment5-6
AI-Blueprint
AI-Blueprint for NNs
VDE-AR-2842-61 Einleitung
Lebenszyklusmodell als Schnitte im V-Modell (2)
2020-01-31 AK 801.0.8 - Mgt, Figures & Background 13
3-6 Initiation
3-7 Solution Concept
4-7 Autonomous/Cognitive System 4-8 I&V of the System
6 After Release
of the Solution
3-8 Trustworthiness Analysis
back to
appropriate phase
of the lifecycle
3-9 IV&V of the Solution
3-10 Acceptance and Release
Part 5Development atTechnology Level
Part 4Development atSystem Level
Part 3Development atSolution Level
Part 6
5 Technological Element
5-7 AI-Development 5-8 Other
TechnologyDevelopment5-6
AI-Blueprint
5 Technological Element
Verkehrssystem
A/C-System
ECUE/E-
Architecture
HW SW
AI
Autonom/Kognitive System in 7 Teilen:
▪ Teil 1: Begriffe und Grundkonzepte
▪ Teil 2: Management
▪ Teil 3: Entwicklung auf Solution-Ebene
▪ Teil 4: Entwicklung auf System-Ebene
▪ Teil 5: Entwicklung auf Technologie-Ebene
▪ Teil 6: Nach der Freigabe der Solution
▪ Teil 7: Anwendungshinweise
VDE-AR-2842-61 Einleitung
Struktur der Anwendungsregel
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 14
VDE-AR-2842-61 Einleitung
Zielgruppe der Anwendungsregel
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 15
VDE-AR-E2842-61
unabhängig von der Branche / Industrie
und Anwendung
Neue Technologien (z.B. KI)
Autonome/Kognitive Systeme
Komplexe Umgebungen / komplexe Systeme
Performance und Trustworthiness
ethische/gesellschaftliche Aspekte getrennt von Technik
Mensch als Teil des Systems
Usability
Autonomes Handeln (Indikatoren)
• Selbstbestimmtes Handeln
im Rahmen der Implementierung
• Erfüllt eine klar abgegrenzte Aufgabe ohne
notwendige Hilfe eines Operators
(= Automation)
• Kann die gestellte Aufgabe gemäß höherem
Wissen (z.B. Zielen) anpassen.
VDE-AR-2842-61 Vorstellung
Was ist ein Autonom/Kognitives System?
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 16
Kognitives Verhalten (Indikatoren)
• Implementier die kognitive Wirkschleife
(z.B. sense-plan-act)
• Baut ein Situationsbewusstsein auf
• Trifft nicht-triviale Entscheidungen
(ggf. motiviert von Zielen)
• Plant ein Vorgehen (Strategie > Trajektorie)
• Passt das Verhalten an sich
ändernde Situationen an
• Manipuliert die Umgebung (zur Zielerfüllung)
▪ KI-Begriff als Bezeichnung einer Technologie (neben HW und SW)
▪ Kann auf KI-Algorithmen aufbauen (= kann KI-Elemente beinhalten)
VDE-AR-2842-61 Vorstellung
Autonom/Kognitives System & Künstliche Intelligenz
Black-Box Modell
▪ A/C-System ist ein Element
▪ Interaktion & Kooperation
White-Box Modell
▪ Funktionale Architektur
▪ Erzeugung des gewünschten Verhaltens
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 17
VDE-AR-2842-61 Vorstellung
Analyse des Entwicklungsprozesses von Neuronalen Netzen
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 18
characteristic X
char
acte
rist
ic YGenerally accepted
ConceptActual
learned Concept
Mental Conceptof Developer
Implicit Conceptin Data Sets
Optimally learnable Concept
VDE-AR-2842-61 Vorstellung
Probleme mit Neuronalen Netzen
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 19
characteristic X
char
acte
rist
ic YGenerally accepted
ConceptActual
learned Concept
Mental Conceptof Developer
Implicit Conceptin Data Sets
Optimally learnable Concept
VDE-AR-2842-61 Vorstellung
KI als neue Technologie mit neuen Eigenschaften
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 20
type of failure measures for HW
systematic
capability
, SFF, DC,
SIL-related target
-- / --
measures for SW
systematic
capability
-- / --
-- / --
measures for AI
systematic
capability
-- / --
Uncertainty
confidence
indicator (UCI)
systematic
random
uncertainty-
related
measures
Qualitative Requirements:
Culture, Experts, QS Process,
Design, Methods & Measures
Quantitative Requirements:
Metrics and Thresholds
Structured Approach:
Metrics, References, Measures
and Argumentation
Nachweis mit Argumentation (z.B. GSN)
als Anteil im “Trustworthiness Assurance Case”
Anforderungen an die Plattform (HW & klassische SW)
VDE-AR-2842-61 Vorstellung
KI-Blueprint für Überwachtes Lernen bzgl. Connectionistischer Ansätze (NN)
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 21
▪ Neuer Standard: Autonom/Kognitives System
• Komplexe Systeme
• Interdisziplinär & Trustworthiness
• Neue Technologien (Künstliche Intelligenz)
• Nachweis: Trustworthines Assurance Case
▪ Neuer Ansatz
• Umfassender Ansatz (Framework)
• Strukturierter Ansatz
• Hierarchischer Ansatz (inkl. system-of-systems)
▪ Weitere Verbesserung
• Anwendungen gesucht (Projekte & Unterstützung)
• Gesamthafte Anwendung oder „good practises“
VDE-AR-2842-61 Vorstellung
Zusammenfassung
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 22
AR in der Praxis
> Eingebettete Systeme
Ein Referenzmodell für
vertrauenswürdige KI:
Vorstellung eines neuen VDE-Standards
Dr. H.J. Putzer (fortiss & cogitron)
VDE Tec Summit 2020, Berlin - Workshop II
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 23
init
afte
r rel.
rele
ase
ai
syste
mso
lutio
n
Etablierter Lebenszyklus ergänzt:
▪ Initiierung (Nutzer: UseCase & Benefit)
▪ Solution-Ebene
• Solution-Konzept
• Trustworthiness-Analysen und TPL
• Trustworthiness Solution-Konzept (~FuSiKo)
▪ System-Ebene
• Strukturierte, hierarchische Entwicklung
• Entwurfs-Muster (design patterns)
▪ Technology-Ebene
• KI-Blueprint
• uncertainty-related confidence indicator (UCI)
VDE-AR-2842-61 Praxis – Eingebettete Systeme
Überblick
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 24
Vom Nutzer/Sponsor festgelegt:
▪ Use Case
• Weitere Automatisierung Gepäcktransport
• Fahrerloses Führen eines Zugfahrzeugs
• Operiert auf dem Vorfeld eines Flughafens
▪ Intended Benefit
• Zeitersparnis beim Transport
• Effizienzgewinn durch optimale Routen
• Weniger Menschen im gefährdetem Raum
VDE-AR-2842-61 Praxis – Eingebettete Systeme
Initiierung: Autonomous/Cognitive Apron Truck
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 25
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
▪ Ontologie
• Ontology Layer (pegasus-Projekt)
• Einheitliche Sprache im Projekt
• Anforderungs-Sprache
• Metriken zur Domain-Coverage
▪ Konzept auf Solution-Ebene
(Solution Concept)
• Modellierung (z.B. SysML)
• Black-Box Modell:
Beobachtbares Verhalten des A/C-Systems
• White-Box Modell:
Funktionales Konzept zur Verhaltenserzeugung
VDE-AR-2842-61 Praxis – Eingebettete Systeme
Solution-Ebene: Solution Concept
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 26
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
ibd Transport System
«system»Truck
LoadingWorker
WeatherAirplaneTraffic ParticipantObstacleRunwayTraffic RulesTraffic Signs
«external»Environment
MaintainancePersonnel
Transport Commands
Includes Databases and Map Data
[scope]
TruckCoordinator
Tru
ck C
oord
inato
r
Truck Available?
Strategic Planning
MotionPlanning
Pull Carts
Load Carts
Pull Carts
Unload CartsRefuel
Refuel? No
Yes
Pull Carts Wait for Task
Tru
ckW
ork
er
sl Transport System
No
Yes
▪ Identifikation aller Beteiligter
• Objekte auf dem Vorfeld
und deren Verhaltensweisen
• Pack-Personal
• Einweiser
• […]
• Vorschriften & Verkehrsregeln
▪ Interaktions-Konzept
• Defensives Verhalten
• […]
▪ Arbeitsteilung (Mensch-Maschine) und
zugewiesene Verantwortungen
VDE-AR-2842-61 Praxis – Eingebettete Systeme
Solution-Ebene: Black-Box Modell (z.B. Soziotechnisches Arbeitsmodell)
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 27
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
▪ Defensives Verhalten
• Personen auf dem Vorfeld warnen / umfahren
• Befahrbaren Bereich erkennen
• Personen erkennen
• Personen-Verhalten vorhersagen
• Reaktions-Plan erstellen
• Warnung planen
• Kollisions-freie Trajektorie erzeugen
• Plan ausführen
• […]
▪ […]
VDE-AR-2842-61 Praxis – Eingebettete Systeme
Solution-Ebene: White-Box Modell (z.B. „sense-plan-act“)
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 28
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
▪ Konflikte möglichst auf der Ebene lösen, auf der sie entstehen
▪ Trustworthiness Goals: Konfliktlösung zwischen tw Aspekten
VDE-AR-2842-61 Praxis – Eingebettete Systeme
Solution-Ebene: Trustworthiness Analyse
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 29
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
Trustworthiness Usability
«external»
out
«func»
execution
«func»
deliberation
«func»
perception
«external»
in
«receiver»
Sensor Array
«block»
Feature Extractor
Raw Sensor
Data
«NN»
Object Detection,
Classification,
Tracking,
Reprojection,
Localization
Feature
Map
«block»
Intend Predictor
«receiver»
Wireless Com
«NN»
High Level
Behaviour
Object
Position
in Real World«block»
Behavior Rule
Checker
«NN»
Command
Recognition
Command
Data
«block»
Com
Command
Representation
Goal
«NN»
Driving
Behavior
Bahavior
Stop / Evade
Vector
«actuator»
Wireless Com
Message
Representation
«actuator»
Chassis
«actuator»
Visual Signal
Generator
Brake
Command
Signal
Command
Inconsistent
Behavior
«block»
Strategy
Movement
Data
Command
Data
Context Model
Readback,
Exec Cmd
Navigate,
Compliant
Driving,
Manual Ctrl
Emergency
Break
Notify
Behavior
Communication
Action Plan
VDE-AR-2842-61 Praxis – Eingebettete Systeme
System-Ebene: autonom/kognitives System
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 30
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
▪ Hierarchisches System-Design
• Schrittweise Verfeinerung
• Zuordnung der Trustworthiness-Attribute
• Detaillierung bis zur Technologie-Ebene
▪ Nutzung von Entwurfsmustern
• KI-bezogene Entwurfsmuster
• Verifikations-bezogene Entwurfsmuster
VDE-AR-2842-61 Praxis – Eingebettete Systeme
System-Ebene: iterative Anwendung Teil 4 „Development at System Level“
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 31
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
«block»
Feature Extractor
«block»
Object Detector,
Tracker,
Classifier,
Reprojection
«block»
Intent Predictor
Context Model
<<func>>Deliberation
<<func>>Perception
«block»
Data Fusion
«ext»
Object List
▪ Data Set Preperation
• Samples / Coverage
• Labeling-Qualität
▪ NN Design (ggf. vortrainiert)
▪ Training
▪ Verifikation
• Metriken
• Argumentation
▪ Validation
• Visualisierung
• Heatmap/Attentionmap
• Adversarial Training
▪ Uncertainty
▪ Bewertung: UCI
VDE-AR-2842-61 Praxis – Eingebettete Systeme
Begutachtung und Freigabe
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 32
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
Objekt-Typ
▪ Worker
▪ Airplane
▪ Ground Power Unit
▪ […]
▪ Freigabe einer Solution
Solution
= Produkt (autonom/kognitives System)
+ Einsatzart
+ Umgebung
▪ Basis der Freigabe
• Produkt-Design
• Trustworthiness Assurance Case
▪ Vorbereitung der nachfolgenden Phasen
VDE-AR-2842-61 Praxis – Eingebettete Systeme
Begutachtung und Freigabe
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 33
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
A/C-
System
Trustworthiness
Assurance Case
Solution
▪ Umsetzung von
• Trustworthiness-Aspekte nach Freigabe
• Security-Anforderungen
(Update von Viren-Definitionsdatei)
• SOTIF Anforderungen
▪ Ziele
• Prüfung der Einsatzumgebung
• Überwachung der Nutzungs-Weisen
• Fehler im Produkt
• Erkennen & schließen von Angriffs-Vektoren
VDE-AR-2842-61 Praxis – Eingebettete Systeme
Nach der Freigabe
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 34
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
Neue Umgebungselemente
Missbrauch
fehl-Klassifizierung
Angriff
(3D street art)
„Horizont“
Angriff
(adversarial attack)
VDE-AR-2842-61 Praxis – Eingebettete Systeme
Zusammenfassung: Autonomous/Cognitive Apron Truck
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
VerkehrsregelnVorfeld
ibd Transport System
«system»Truck
LoadingWorker
WeatherAirplaneTraffic ParticipantObstacleRunwayTraffic RulesTraffic Signs
«external»Environment
MaintainancePersonnel
Transport Commands
Includes Databases and Map Data
[scope]
TruckCoordinator
Tru
ck C
oord
inato
r
Truck Available?
Strategic Planning
MotionPlanning
Pull Carts
Load Carts
Pull Carts
Unload CartsRefuel
Refuel? No
Yes
Pull Carts Wait for Task
Tru
ckW
ork
er
sl Transport System
No
Yes
«external»
out
«func»
execution
«func»
deliberation
«func»
perception
«external»
in
«receiver»
Sensor Array
«block»
Feature Extractor
Raw Sensor
Data
«NN»
Object Detection,
Classification,
Tracking,
Reprojection,
Localization
Feature
Map
«block»
Intend Predictor
«receiver»
Wireless Com
«NN»
High Level
Behaviour
Object
Position
in Real World«block»
Behavior Rule
Checker
«NN»
Command
Recognition
Command
Data
«block»
Com
Command
Representation
Goal
«NN»
Driving
Behavior
Bahavior
Stop / Evade
Vector
«actuator»
Wireless Com
Message
Representation
«actuator»
Chassis
«actuator»
Visual Signal
Generator
Brake
Command
Signal
Command
Inconsistent
Behavior
«block»
Strategy
Movement
Data
Command
Data
Context Model
Readback,
Exec Cmd
Navigate,
Compliant
Driving,
Manual Ctrl
Emergency
Break
Notify
Behavior
Communication
Action Plan
«block»
Feature Extractor
«block»
Object Detector,
Tracker,
Classifier,
Reprojection
«block»
Intent Predictor
Context Model
<<func>>Deliberation
<<func>>Perception
«block»
Data Fusion
«ext»
Object List
AR in der Praxis
> IT Systeme
Ein Referenzmodell für
vertrauenswürdige KI:
Vorstellung eines neuen VDE-Standards
Prof. Dr. R. Welge (ENS)
VDE Tec Summit 2020, Berlin - Workshop II
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 36
Etablierter Lebenszyklus ergänzt …
▪ Initiierung
▪ Solution-Ebene
• Solution-Konzept
• Trustworthiness-Analysen und TPL
• Truwstworthiness Solution-Konzept (~FuSiKo)
▪ System-Ebene
• Strukturierte, hierarchische Entwicklung
• Entwurfs-Muster (design patterns)
▪ Technology-Ebene
• KI-Blueprint
• uncertainty-related confidence level (UCI)
VDE-AR-2842-61 Praxis – IT Systeme
Überblick
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 37
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
▪ Entwicklungsziel
• Assistenzsystems zur Erstellung juristischer Gutachten (REQ.1: Legal Report)
• Fokus: Vertragsrecht, Strafrecht und öffentliches Recht sind komplexer
▪ Schablone für die Arbeitsfrage (nach Jung, 2016a):
VDE-AR-2842-61 Praxis – IT Systeme
Informale Beschreibung der geplanten Anwendung – Ziel
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 38
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
Kundennutzen (intended benefit / value proposition):
▪ Optimierung von Arbeitsprozessen (Erlernen von Best Practice-Vorgehensweisen):
• System lernt kontinuierlich in Interaktion mit den Bedienern die optimale Abarbeitung eines
Arbeitsprozesses (REQ.2: Online Learning / Task Optimization).
▪ Vereinfachung individueller Arbeitsprozesse durch adaptive, automatisierte Abarbeitung:
• System lernt kontinuierlich in Interaktion mit den Bedienern die Aufteilung der Aufgaben eines
Arbeitsprozesses zwischen Mensch und Technik (REQ.3: Online Learning / Task Sharing)
▪ Vereinheitlichung betrieblicher Prozesse:
• Phase I: System lernt / imitiert das Vorgehen eines erfahrenen Bedieners (Trainer) als optimale
Vorgehensweise. (REQ4: Imitation Learning)
• Phase II: System wird weniger erfahrenen Anwendern als nicht lernender Dienst zur Verfügung
gestellt; lernt lediglich in Kooperation mit Trainern online weiter . (REQ.5: Task Standardization)
VDE-AR-2842-61 Praxis – IT Systeme
Informale Beschreibung der geplanten Anwendung – Kundennutzen
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 39
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
▪ Methode:
• Das System fragt Tatbestandsmerkmale einzelner
Fälle ab und nimmt Antworten entgegen
• Lernt aus der Kooperation mit dem Bediener
(Feedback zur Reihenfolge und Bewertung)
• Welche Abfragereihenfolge führt am schnellsten
zum Ziel, d.h. zur Gutachtenerstellung?
• Welche Tatbestandsmerkmale bedingen sich
gegenseitig bzw. sind (durch andere) irrelevant?
• Wie sind die eingelesen Tatbestandsmerkmale
innerhalb eines Gutachtens zu bewerten?
▪ (REQ.6: Freedom of decision in the work process)
VDE-AR-2842-61 Praxis – IT Systeme
Informale Beschreibung der geplanten Anwendung
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 40
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
Prüfungsschema vertraglicher Ansprüche (S.50 Jung, 2016a)
Wahl der Notationen (hier)
▪ SysML - System Modelling Language - De-facto-
Standard für Model-Based Systems Engineering
▪ BPMN - Business Process Modelling Notation : De-
facto-Standard für Geschäftsprozessmodellierung
Wahl des Blackbox-Modells: Hier soziotechnisches
Arbeitsmodell
▪ Das soziale Teilsystem umfasst die innerhalb des
Arbeitssystems beteiligten Personen
▪ Das technische Teilsystem besteht aus den
technischen, räumlichen und weiteren Betriebsmitteln
(REQ.7.. : Task Sharing)
VDE-AR-2842-61 Praxis – IT Systeme
Wahl der Werkzeuge und Methoden
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 41
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
Funktionale Anforderungen
▪ Spezifikation bspw. mit SysML Use Case
Diagram
▪ Beziehen sich auf den Zweck des Systems
▪ (REQ.8.. : FR-REQs)
Nicht Funktionale Anforderungen
▪ Spezifikation bspw. mit SysML Requirements
Diagram
▪ Spezifikation von Anforderungen wie
Ressourcenbedarf, Antwortzeiten
▪ (REQ.9.. : NFR-REQs)
VDE-AR-2842-61 Praxis – IT Systeme
Spezifikation der an das spätere Produkt gestellten Anforderungen
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 42
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
Mensch-Technik-Interaktion liegt vor,
▪ wenn sich eine Aktion eines
sozialen/technischen Teilsystems auf
eine oder mehrere Aktionen eines
technischen/sozialen Teilsystems
bezieht
▪ (REQ.10.. : MTI-REQs)
VDE-AR-2842-61 Praxis – IT Systeme
Spezifikation der Mensch-Technik-Interaktion
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 43
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
▪ Das technische Teilsystem leitet das soziale
Teilsystem durch den Prozess der
Gutachtenerstellung
▪ Der KI-Agent lernt:
• Welche Aktionen, d.h. Abfrage von Merkmalen,
sind relevant bzw. redundant?
• In welcher Reihenfolge sind die Merkmalsaus-
prägungen abzufragen?
• Mit welchem Wissen / mit welchen bekannten
Merkmalsausprägungen ist eine Entscheidung
möglich und welche Entscheidung ist die Richtige.
▪ Diagramm stellt für adaptive, Online-lernende
Systeme lediglich ein Initialverhalten dar.
• (REQ.11.. : MTK-REQs)
VDE-AR-2842-61 Praxis – IT Systeme
Spezifikation der Mensch-Technik-Kooperation
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 44
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
(REQ.11.1: All tasks that relate to the
verification of elements of crime, are
carried out by the social subsystem)
Etablierter Lebenszyklus ergänzt …
▪ System Level
• Formale Spezifikation der Systemstruktur
• Formale Spezifikation der
Systemkommunikation
• Zuordnung der Requirements zu den KI-
Modulen
VDE-AR-2842-61 Praxis – IT Systeme
Überblick
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 45
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
▪ Struktur des soziotechnischen Arbeitssystems
als hierarchische Dekomposition von Blöcken
▪ Dekomposition wird bis auf die unterste
Blockebene fortgesetzt
▪ In einem weiteren Schritt wird die
Kommunikation innerhalb des technischen
Teilsystems, zwischen dem technischen
Teilsystem und dem sozialen Teilsystem sowie
zwischen den Teilsystemen und der Umgebung
spezifiziert
▪ Von besonderer Bedeutung ist die Zuordnung
der Requirements über die gesamte
hierarchische Dekomposition hinweg zu den
aktiven Elementen
VDE-AR-2842-61 Praxis – IT Systeme
System-Ebene
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 46
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
Req.n..m
Was ist ein „Design Pattern (Entwurfsmuster)
▪ Erprobte, wiederverwendbare Lösung für eine
Klasse von Software Design-Problemen, die in
einem bestimmten Kontext auftreten:
• Design Patterns at Solution Level
• Design Patterns at System Level
• Design Patterns at Technology Level (AI Blue
Prints)
Notation / Beschreibung
▪ Allgemeine Angaben (Autor, bekannte
Verwendung, …)
▪ Motivation (Nutzen, Konsequenzen, …)
▪ Architektur (Struktur, Verhalten, Kommunikation)
VDE-AR-2842-61 Praxis – IT Systeme
Design Patterns (Entwurfsmuster)
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 47
Beispiel eines Desing Patterns
ibd TDL Control Pattern
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
Welches Design Pattern erfüllt die
Requirements?
Temporal Difference Learning Control Pattern
(Tabular Solution Method)
▪ Typisches DP für das Lernen mittels Interaktion
mit der Umgebung
▪ AIController lernt eine optimale „Policy“, d.h. ein
optimales Mapping von Input (State) zu Output
(Action)
▪ Optimiert im „Try and Error“-Verfahren und mithilfe
einer Reward-Funktion eine Nutzenfunktion
▪ Es ist kein exaktes Modell der Umgebung
vorhanden
▪ Die Umgebung kann sich über die Zeit verändern,
der AIController verhält sich adaptiv, d.h. lernt mit
VDE-AR-2842-61 Praxis – IT Systeme
System-Ebene
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 48
ibd TDL Control Pattern
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
(REQ.2: Online Learning / Task Optimization)
(REQ.4: Imitation Learning) über IRL
(REQ.5: Task Standardization)
(REQ.6: Freedom of decision in the work process)
Das Temporal Difference Learning Guard Pattern
(Tabular Solution Method)
▪ Schränkt den Aktionsraum des Systems ein
▪ Sichert das System und die Umgebung gegen
Schäden ab, die der AIController während des
Lernens durch das „Ausprobieren“ aller Aktionen
in Zuständen anrichten kann.
▪ Definiert mit Hilfe statischen A-priori-Wissens
Grenzen des Aktionsraums
▪ Definiert „Leitplanken“, innerhalb denen ein
Controller lernen darf
▪ Guard rekrutiert sich aus Requirements
VDE-AR-2842-61 Praxis – IT Systeme
System-Ebene
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 49
ibd TDL Guard Pattern
init
so
lutio
nsyste
ma
ire
lea
se
afte
r rel.
▪(REQ.8.. : FR-REQs)
▪…
▪ Generisches Framework
• einheitlicher Entwicklungs-Ansatz
• Branchen-übergreifend
▪ Autonom/Kognitive Systeme
• Komplexe Umgebung, komplexe Systeme
• Trustworthiness
• Künstliche Intelligenz
▪ Roadmap & Aufruf
• Öffentliche Kommentierungsphase
• Unterstützung gesucht!
• Weitere Anwendungen gesucht!
VDE-AR-2842-61
Fazit & Ausblick
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 50
VDE-AR-E 2842-61
Entwicklung und Vertrauenswürdigkeit
von autonom/kognitiven Systemen
Mögliches Referenz-Modell
für ein Assessment-Modell
▪ Johannes Koch
VDE Verband der
Elektrotechnik Elektronik
Informationstechnik e.V.
Kontakt
Ansprechpartner
2020-02-27 Ein Referenzmodell für vertrauenswürdige KI - Vorstellung VDE-AR-E 2842-61 © DKE 51
▪ Prof. Dr. R. Welge
ENS – Freies Institut für
Technische Informatik UG
▪ Dr. H. Putzer
fortiss GmbH
Forschungsinstitut des
Freistaats Bayern
für softwareintensive Systeme
und Services
Stresemannallee 15
60596 Frankfurt a.M.
e.novum
Mustermannskamp 1
21335 Lüneburg
Guerickestr. 25
80805 München
T: 49-69 6308-268
E: johannes.koch@vde.com
T: +49-151-68 41 80 28
E: rw@ens-fiti.de
T: +49-15 255 901040
E: putzer@fortiss.org
Recommended