Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet

Testen von L3 Systemen – ein Überblick über die aktuelle PEGASUS Vorgehensweise

Dr. Helmut Schittenhelm | 08. November 2017

Ausgangsproblem: Die Absicherungsfalle*

© PEGASUS | Halbzeitveranstaltung | 08.11.2017 59

* „ Absicherung automatisiertes Fahren“, Prof. Winner, 6. FAS-Tagung, München, 29.11.2013

Wenn man das bisherige Verfahren auf hochautomatisiertes Fahren überträgt, müsste man statt 1 Mio. Kilometern 240* Mio. Kilometer fahren!

Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet. Dies entspricht dem Versuch, den Zustandsraum durch reines Fahren repräsentativ abzudecken.

Lösungsansatz


• Steigerung der Virtualisierung des Test- und Absicherungsprozesses • Zur Beherrschung des großen Testraum und Testvolumens, • zur Selektion relevanter Testszenarien.

• Iterative Ermittlung der Szenarien für die hochautomatisierte Funktion durch intelligente Vernetzung aller Testinstanzen wie Simulation, Prüfgelände und Feldtests und Abgleich mit einer zentralen Testspezifikations-Datenbank (szenariobasierter Ansatz). • Simulative Ermittlung der Funktionsgrenzen sowie dem Nachweis der Beherrschbarkeit.

Herausforderung für die Simulation:

• Realitätsnahe Modelle (Sensorik, Umgebungsdarstellung) • Verifikation und Validierung mit Prüfgelände und Feldtests Herausforderung für die Prüfmethodik: • Robuste, reproduzierbare, präzise Ausführung der Manöver • Standardisierung der Schnittstellen mit der Simulation

Arbeitsinhalte des TP 3 Testen – Methodenentwicklung für das Testen und Darstellung des Absicherungsprozesses


Detaillierung und Vervollständigung der Testszenarien aus Teilprojekt 1, inklusive technischer Güte- und Qualitätsmaße sowie Abnahmekriterien

Aufbau und Füllung der Testspezifikations-Datenbank

Festlegung und Erweiterung von Testmethoden, Schnittstellen, Werkzeugen für Simulation, Prüfgelände und für Realverkehr

Erstellung und Abstimmung industrieweit etablierter Modelle, Werkzeuge und Schnittstellen für die Simulation

Zusammenstellung des Testkatalogs und Anforderungen für Labor, Prüfgelände und Feldabsicherung

Aufbau von Referenzelementen zur praktischen Erprobung und Funktionsdemonstration

Darstellung einer exemplarischen Absicherung durch Simulation, Prüfgelände und auf der Straße

Standardisierung - Voraussetzung für Steigerung Virtualisierung


OpenSCENARIO: Für die (formale) Beschreibung des dynamischen und statischen Inhalts eines Szenarios wird OPENSCENARIO v 0.9.1 eingesetzt. Verwendung:

• Datenbank • Manöversteuerung in Simulation und Prüfgelände

OpenDRIVE: Für die (formale) Beschreibung von Straßen und Strecken wird OPENDRIVE v1.4 eingesetzt. Verwendung:

• Datenbank • Manöversteuerung in Simulation und Prüfgelände

OSI und FMU 2.0: Für die Einbindung von Sensormodellen und anderen Modulen werden FMU 2.0 und OSI verwendet als Standard für die Co-Simulation und Kommunikation genutzt.

Relevanz, …

Testspezifikations-Datenbank –Knowhow des Szenario-Ansatzes Ausgangsbasis für einen internationalen Standard


FOT/NDS mit Umgebungs-

erfassung

Realfahrt mit L3

Fahrsimulator

Fahrversuch Prüfgelände

Unfalldaten

Infrastruktur Methode Testspezifikation (Basis)

PEGASUS - Datenbank

Har

mon

isie

rung

Proz

essi

erun

g

Datenquellen

Bewertungs- kriterien

Parameter-raum

Logisches Szenario

Harmonisiert sammeln, standardisiert archivieren, vereinheitlicht auswerten, um einheitliche Testspezifikationen abzuleiten!

Standardisierte Datenbankmechanik zur Testspezifikation (Basis)


Pre-

Toolkette „Testen in der Simulation“ - Gezielte Qualifizierung des Bewährten


PEGASUS ermöglicht die Anbindung an bestehende etablierte Werkzeuge.

Ziel:

• Verwendung einer gemeinsamen Werkzeugkette zur Durchführung von Tests

• Einheitliche Schnittstellen zwischen den Werkzeugen ermöglichen ein Austauschen von Werkzeugen innerhalb der Werkzeugkette

50 57,5 65 72,5 80

Beispiel zur Vorgehensweise / Prozess in der Simulation

© PEGASUS | Halbzeitveranstaltung | 08.11.2017

Testfallsteuerung, Testraumabdeckung

66

vereinfachte Parametrierung !

Testfall- beschreibung Ergebnisdarstellung

Beispiel: Simulation des unkritischen und relevanten Szenarios


Unkritischer Fall mit Parametern: 𝑚𝑚 = 1600 kg; 𝑠𝑠 = 5 s; 𝑑𝑑𝐴𝐴 = 20 m; 𝑣𝑣 = 50 km/h; 𝑇𝑇𝑇𝑇𝐶𝐶min = 1.892 s

Absicherungsrelevanter Fall mit Parametern: 𝑚𝑚 = 2200 kg; 𝑠𝑠 = 2 s; 𝑑𝑑𝐴𝐴 = 0 m; 𝑣𝑣 = 80 km/h; 𝑇𝑇𝑇𝑇𝐶𝐶min = 0.676 s

VIDEO VIDEO

Bildung des Testraums Verknüpfung von relevanter, repräsentativer Realität und technischen Anforderungen


Relevanz


Parameter-raum

Logisches Szenario

Basis-Test spezifikation

Test

spez

ifika

tions

-Dat

enba

nk

. .

. . ..

Umfeld • Straße• Statische Objekte• Dynamische Objekte• Umweltbedingungen

Fahrzeug (VUT) • Fahrdynamik• Umfeldsensorik• Statische Kenndaten

Fahrer

Sensorik (phänomenologisch)• Radar• Lidar• Kamera• Ultraschall

Funktion (HAF, Level 3)

FuSi (26262, SOTIF)

Test- raum

Test

konz

ept

Test

spez

ifika

tions

-Dat

enba

nk

TTC, …

Interaktion Testspezifikations-Datenbank und Testinstanzen


Feldtests

Simulation (SiL, HiL, ViL, …)

69© PEGASUS | Goals and work contents of PEGASUS

Selektion log. Szenario inkl.

Eingrenzung Parameterbereich

Autom. Aus- und Bewertung

Selektion log. Szenario inkl.

Eingrenzung Parameterbereich

Prüfgelände

Identifikation kritischer

Szenarien in Messdaten

Simulation (Ermittlung kritischer konkreter Szenarien)

Versuchs-durchführung

Testkonzept und Zuordnung Testzuordnung

Verifikation

Validierung

Aus- und Bewertung

Replay2Sim (Messdaten 2

konkretes Szenario)

Relevanz


Parameter-raum

Logisches Szenario

Basis-Test spezifikation

Test

spez

ifika

tions

-Dat

enba

nk

Test

konz

ept

Selektion konkretes Szenario

und Versuchsplanung

Innovative Prüfmethoden für das reproduzierbare Testen – technologisch auf dem gleichen Niveau wie ein HAF-System


Mobiler Leitstand

Generik für Versuchsplanung

Manöverplanung als Input für Manöversteuerung

Beispielhafte Implementierung einer direkten Ansteuerung für Testbetrieb

Verifikation Simulationsergebnis mit Prüfgeländetest



Prüfgelände Simulation


VIDEO VIDEO

Beispielhafte Kenngrößen im Szenario „Stauende“ Reproduzierbarkeit am Beispiel „Stauende“ (Daimler Szenario)

Genauigkeit der Reproduzierbarkeit des Prüfgeländetests Neu: Ausführungsqualität des Prüfgeländes muss in relevanten Elementen der der Simulation entsprechen


Trajektorien

soll, ist – Verlauf TSV

Geschwindigkeit

soll, ist – Verlauf TSV

Max. Querabweichung des TSV beim Spurwechsel • 3,2cm +- 0,2cm

Max. Spurabweichung des TSV auf der Geraden: • 0cm +- 0,05cm

Max. Geschwindigkeitsabweichung TSV auf der Geraden: • 0,1km/h +- 0,05km/h

Max. Verzug (Zeit) des TSV beim Spurwechsel • 0,05s +- 0,3s

Verzug in der Sichtbarkeit des SCT1 für das VUT

Feldtest - Testplattform zum Test im realen Verkehrsgeschehen



Teilprojekt 1

Übersicht über die Stände des Teilprojektes 3 „Testen“ Vieles wurde nicht angesprochen, alles wird gezeigt!

Datenbank

Datenverarbeitung Szenarienermittlung

Bewertung der Hochautomatisierten Fahrfunktion (inkl. Mensch)

Theoretische Anforderungsermittlung & technische Umsetzung

Testfälle

Logischer Testfallraum

Test HAF:

SimulationPrüfgelände

Realfahrt

Ermittlung CHAF/Soll

/ S undEHAF/Mensch

Testdaten

Testergebnisse

Evidenz

Sicherheits

-

aussage

Anforderungsdefition

Daten imPEGASUS-

Format

Anwendung Metriken + Zuordnung zu

logischen Szenario

LogischeSzenarien +

Parameterraum

BestimmungExposure

IntegrationBestehenskriterien

Anwendung Testkonzept

inkl. Variations- methode

Wissen:Gesetze,Normen,

Richtlinien, ...

Gesamtmethode zur Bewertung der hochautomatisierten Fahrfunktion

Risiko-ermittlung

basierend auf EHAF/S/Csoll/

CHAF

Freigabe Testauswertung Testdurchführung Testfallableitung

Techn. Anforderungen

Informationsquelle Auswertung & techn. Umsetzung Szenarien

Use Case &Bestehende

Daten/Wissen

ErweiterteDaten &Wissen

Argument

Sicherheits-argumentation

Daten / InhalteArbeitsschritt

Prozessierung

Vorverarbeitung / Rekonstruktion

Systematische Szenarien-Identifikation

UnfallFOT/NDSSimulatorSimulationTestfahrt

Daten:

21

20 19 18 17 16 15 14 13

12

10 11

9

875

63

4

1

2

13

Testkonzept und Testfallzuordnung Szenarienformate Testspezifikations-Datenbank Testfallgeneierung, Testraum- abdeckung, Reduktion Testaufwand Testinfrastruktur / Karten

10 11 12 13

14

Grundlagen fürs Testen

11 14

10 12

12

Sensorsimulationsmodelle Software-in-the-Loop Hardware-in-the-loop Prüfgelände Generik, Leitstand Tools für Prüfgelände und Realfahrt • Kollisionsvermeidung

• Infrastrukturseitige Datenerfassung

Wizzard-of-Oz-Fahrzeug Feldtestkonzept

16 17 Simulation Prüfgelände Realfahrt

18 21

15 19

20

15 16 17 18 19

20 21

Test und Absicherung

Vielen Dank für Ihre Aufmerksamkeit!

Documents

Testen von L3 Systemen - pegasusprojekt.de · Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet