Fahrmanöverprädiktion im urbanen Verkehr auf Basis …urban-online.org/cms/upload/download/HEINE.pdf · Anforderungen: • möglichst ... Zustandsautomat Herausforderungen: •

UR:BAN-Konferenz • Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten • Dipl.-Ing. Jens Heine • 18./19.02.2016 • Garching 1

Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten

Dipl.-Ing. Jens Heine

Mensch im Verkehr

Verhaltensprädiktion und Intentionserkennung


Gliederung

• Motivation• Fahrerintentionserkennung und Manöverprädiktion

• Methodik: Probandenstudie• Algorithmus zur Fahrmanöverprädiktion

• Algorithmus zur Fahrmanöverprädiktion• Fuzzy Logik und Zustandsautomat• Verhaltensketten und Edit Distance• Validierung

• Zusammenfassung & Ausblick


Gliederung






Motivation

• Mit Vision Zero wird eine Reduktion der Unfälle im Straßenverkehr angestrebt [1]

• Fahrerassistenzsysteme (FAS) haben einen maßgeblichen Anteil daran [2]

• Die Forschungsinitiative UR:BAN [3] erforscht Fahrerassistenzsysteme zur Unfallreduktion im städtischen Verkehr

• Früher Warnzeitpunkte steigern die Effektivität von FAS, beinhalten aber die Gefahr eines Warndilemmas [4]

• Fahrerintentionserkennung bietet die Chance die Fehlauslösungen von FAS zu verringern und die Wirksamkeit zu steigern [5]

• Um Fahrerassistenzsysteme mit der Information über die Fahrerintention zu versorgen ist ein echtzeitfähiger Algorithmus zur Fahrmanöverprädiktion notwendig

SBZA LDW


Fahrerintentionserkennung und Manöverprädiktion

• Die Fahrerintention gehört (neben u.a. Aufmerksamkeit oder Beanspruchung) zu den kurzfristig veränderlichen Einflussfaktoren des Fahrers auf das Fahrerverhalten. Sie beinhaltet u.a. die intendierte Route des Fahrers oder die in unmittelbarer Zukunft geplante Fahrmanöverfolge. [6]

• Die Fahrerintention wird vor allem der Manöver- und Navigationsebene der Fahrzeugführung zugeordnet. [7]

• Um Fahrerintention zu detektieren ist das Wissen über die Art der Informationsaufnahme, -verarbeitung und die getroffenen Entscheidungennotwendig [8]

Angelehnt an: [9]

Manöverprädiktion

Intentionserkennung


Merkmale zur Fahrmanöverprädiktion

[7]

Fahrer

Fahrzeug

Umwelt

Inertialsensorik (Giermoment, Beschleunigung, …)

Blickrichtung / Blickverhalten (Sakkaden, Fokusdauer)

Lenkeingaben, Pedalbedienung (bewusst und unbewusst)

Umfeldsensorik (TTC, THW, TLC, Spurhaltegüte)

Verkehrssituation

Kopfbewegung /-orientierung


Gliederung






Methodik: Probandenstudie

Probandenversuche im kontrollierten FeldTestgelände August-Euler-Flugplatz Griesheim• Rundkurs über Landebahn und „Taxiway“

• Länge ca. 2,0km• Probanden fahren jeweils 10 Runden

Versuchsreihen• Versuchsreihe 1 zur Datenerhebung (n = 58): 2013

(Alter: MW=40,0 Jahre SD=13,3 Jahre; davon 39,6% weiblich)

• Versuchsreihe 2 zur Datenerhebung (n = 44): 2014(Alter: MW=38,4 Jahre SD=13,6 Jahre; davon 45,5% weiblich)

Herausforderung beim Versuchsdesign • nicht das Manöver von den Probanden einfordern• sondern die Handlung (und somit die Bildung einer entsprechenden Intention)

provozieren Aufzeichnung realitätsnaher Messdaten im kontrollierten Feldversuch


Probandenstudie: Fahrmanöver

Anhalten an Stop-SchildFahrstreifenwechsel

Notausweichen Notbremsen an Ampel Wurfhindernis

Anhalten an Ampel


Gliederung






Algorithmus zur Fahrmanöverprädiktion

Fahrzeug-Daten Algorithmus

Fahrmanöver-wahrscheinlichkeit

Zeithorizont

Anforderungen:• möglichst frühe und sichere Erkennung• Nachvollziehbar, Transparent (White-Box-Modell)• Modular und Echtzeitfähig

Zustandsautomat

Herausforderungen:• Interindividuelle Unterschiede im Fahrerverhalten

Unschärfe in Merkmalen zur Prädiktion

• Intraindividuelle Unterschiede im FahrerverhaltenUnsicherheit in Merkmalen zur Prädiktion

• Merkmale treten zu unterschiedlichen Zeiten während der Manöverdurchführung auf

Merkmale treten in Zeitreihen auf

Fuzzy-Logik

Edit Distance


Struktur des Algorithmus

CAN-BusEingangssignale

Fahrmanöverdatenbank

FuzzifizierungZustandsautomat

Verhaltenskette

Aktuelle Fahrerverhaltenskette

TrainingEchtzeiterkennung

[12]


Fuzzifizierung der Eingangsgrößen

Verlauf des Lenkwinkel über die Zeit vor und während eines Fahrstreifenwechsel; Fahrzeug berührt Fahrstreifenmerkierungbei t = 0s

Verlauf der Änderung des Lenkwinkels über den Lenkwinkel; Aufgeteilt in 5 gleichgroße Integrale

Trainierte Fuzzy-Sets des Lenkwinkels für einen Fahrstreifenwechsel aus dem Signalverlauf

Fahrstreifenwechsel

Lernen der Fuzzy-Mengen aus Daten der Probandenstudie


In der Theorie der Fuzzy-Logik liegt üblicherweise eine Regelbasis mit den möglichen Kombinationen der Eingangsgrößen vor

In diesem Zustandsautomaten repräsentiert jeder Zustand eine bestimmte Fuzzy-Regel

1 : velocity=high, accelerator pedal=low, brake pedal=near zero 3 : velocity=high, accelerator pedal=near zero, brake pedal=near zero 8 : velocity=near zero, accelerator pedal=near zero, brake pedal=low

Die vorhandenen Zustände und Transitionen werden aus den Versuchsdaten gelernt

Für jedes zu erkennende Manöver existiert ein Zustandsautomat

Zustandsautomat

Anhaltemanöver


Verhaltensketten

Stopping maneuver

Die Verhaltenskette der Fahrmanöversequenz enthält die Aktivierung der jeweiligen Fuzzy-Regeln über die Zeit

Fahrzeug fährt geradeaus mit ~50km/h

Fahrzeug hält an Stop-Schild

Fahrer löst Gaspedal

Fahrer betätigt Bremspedal

Fahrzeug verlangsamt

Fahrzeug verzögert

Anhaltemanövervelocity Accelerator pedal Brakepedal

1:near zero 1:near zero 1:near zero

2:very low 2:low 2:low

3:low 3:medium 3:medium

4: medium 4:high 4:high

5: high

6:very high


Fahrmanöverdatenbank

Jede Verhaltenskette jedes Manövers der Probanden in unserer Studie werden im Training des Algorithmus in einer

manöverspezifischen „Datenbank“ gespeichertz.B. Proband 01 (P01) führt ersten Fahrstreifenwechsel nach links aus (FSW1)

Für jedes zu erkennende Fahrmanöver liegt eine eigene Datenbank vor

P01 FSW1:P01 FSW2:P01 FSW3:P02 FSW1:P02 FSW2:P02 FSW3:P03 FSW1:P03 FSW2:P03 FSW3:P04 FSW1:

Weitere Werte die zu jedem Zustand gespeichert werden:- Zeit der Aktivierung- Zeit bis zum Manöver - Aktivierungsgrad


Edit Distance

• Aufgrund inter- und intraindividueller Unterschiede in der Manöverausführung ist die Chance zwei identische Ketten zu finden sehr gering

• Um ein Fahrmanöver zu prädizieren wird das aktuelle Fahrerverhalten mit den gespeicherten Verhaltensketten mit Hilfe eines Ähnlichkeitsmaßes verglichen

• Die Edit Distance berechnet den minimalen Aufwand die aktuelle Verhaltenskette in jede andere gespeicherte zu transformieren :

- Um Sequenz a in Sequenz b zu transformieren sind folgende Schritte notwendig:

- (4) Einfügen - (5) Verschieben- (6) Löschen

- Jede Transformation ist mit bestimmten Kosten belegt

- Der Abstand der Sequenzen entspricht dem Minimum der Summe der Kosten

dist min• Der minimale Aufwand zur Transformation entspricht dem Abstand beider Ketten

• Der Gesamtabstand wird über das quadratisches Mittel der aktuellen Verhaltenskette mit jeder Verhaltenskette in der entsprechenden Fahrmanöver-Datenbank berechnet


Berechnung der Manöverwahrscheinlichkeit

Die Manöverwahrscheinlichkeit und der Zeithorizont werden aus der Edit Distance berechnet

• Es wird eine Funktion gelernt, welche auf abbildet • Dazu wird jede positive (Manöver wurde ausgeführt) und negative Erkennung

(Manöver wurde nicht ausgeführt) analysiert• Der minimale Abstand für jede positive und negative

Sequenz werden berechnet

• Das Verhältnis wird für

jedes berechnet

• Dadurch entsteht eine Lookup-Table um die Manöverwahrscheinlichkeit für jede errechnete Edit Distance zu berechnen


Validierung

• Die Spezifität und Sensitivität der binären Klassifizierung wurde entsprechend berechnet

• Um eine ROC-Kurve (Receiver operator caracteristic) zu erhalten wurde die Entscheidungsschwelle ∗variiert

• Das Optimum zwischen Sensitivität und Spezifität für den Fahrstreifenwechsel nach links befindet sich bei der Entscheidungsgrenze ∗=69,4%

• Daraus ergibt sich folgende Performance des Algorithmus zur Erkennung von Fahrstreifenwechsel nach links mit CAN-Bus Daten:

– TPR=97,5% – FPR=22,4% – AUC=0,895 (Area under curve)– mittlerer Zeithorizont von =0,9s

* p*=69,4%

• Das Training und das Testen wurde mit verschiedenen Teilen des Versuchsdatensatzes durchgeführt (70% vs. 30%)

• Die Designparameter des Algorithmus wurden dabei systematisch variiert, um das bestmögliche Set zu finden

• Ein binärer Klassifizierer wurde definiert:– ∗ Manöver liegt vor – ∗ Manöver liegt nicht vor


Gliederung






Zusammenfassung und Ausblick

Zusammenfassung:• Fahrmanöverprädiktion auf Basis von Verhaltensketten mit Fuzzy-Logik und Edit

Distance ist möglich • Der gezeigte Algorithmus kann Fahrmanöver auf prototypischer Hardware (Car-PC)

im Versuchsträger in Echtzeit prädizieren • Es ist möglich mit Fahrzeugdaten ein Fahrstreifenwechsel zu prädizieren bevor

das entsprechende Vorderrad die Fahrstreifenmarkierung berührt• Das Trigger Level ist an das Fahrerassistenzsystem bezüglich notwendiger

Erkennungsraten oder gewünschten Zeithorizont anpassbar

Ausblick:• Fahrerbeobachtung ermöglicht die Steigerung des Prädiktionshorizontes durch die

Nutzung früherer Merkmale des Fahrerverhaltens• Die Informationen zu dem vom Fahrer geplanten Fahrmanöver kann zur

Parametrisierung von warnenden und eingreifenden Fahrerassistenzsystemengenutzt werden, mit dem Ziel die Akzeptanz zu steigern und ein mögliches Warndilemma zu verringern


Vielen Dank für Ihre Aufmerksamkeit!

Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten


Verwendete Quellen

• [1] Tingvall, C., & Haworth, N. (2000). Vision Zero: an ethical approach to safety and mobility. In 6th ITE International Conference Road Safety & Traffic Enforcement: Beyond (Vol. 1999).

• [2] Winner, H., Hakuli, S., Lotz, F., & Singer, C. (2015) Handbuch Fahrerassistenzsysteme: Grundlagen, Komponenten und Systeme für aktive Sicherheit und Komfort (3., überar-beitete und ergänzte Auflage). ATZ/MTZ-Fachbuch.

• [3] Manstetten, D., Bengler, K., Busch, F., Färber, B., Lehsing, C., Neukum, A., Petermann-Stock, I. (2012). “UR:BAN MV” – a German project focusing on human factors to in-crease traffic safety in urban areas

• [4] Hoffmann, J., & Gayko, J. (2012). Fahrerwarnelemente. In H. Winner, S. Hakuli, & G. Wolf (Eds.), ATZ-MTZ-Fachbuch. Handbuch Fahrerassistenzsysteme. Grundlagen, Kompo-nenten und Systeme für aktive Sicherheit und Komfort ; mit 45 Tabellen (2nd ed., pp. 343–354). Wiesbaden: Vieweg + Teubner

• [5] Blaschke, C., Schmitt, J., & Färber, B. (2007). Fahrmanöver-Prädiktion über CAN-Bus Daten. In VDl-Berichte 2015. Fahrer im 21. Jahrhundert. Human Machine Interface (pp. 165–177). Düsseldorf: VDI Verlag GmbH.

• [6] Kopf, M. 2005. Was nützt es dem Fahrer, wenn Fahrerinformations- und -assistenzsysteme etwas über ihn wissen? In: Fahrerassistenzsysteme mit maschineller Wahrnehmung. Heidelberg. Springer.

• [7] Donges, E. (1982). Aspekte der aktiven Sicherheit bei der Führung von Personenkraftwagen. AUTOMOB-IND, 27(2).• [8] Jürgensohn, T. et al. (2001). Nichtformale Konstrukte in quantitativen Fahrermodellen In: Kraftfahrzeugführung (pp. 95-117).

Springer Berlin Heidelberg.• [9] Heckhausen, Heinz, Gollwitzer, Peter. 1987. Thought Contents and Cognitive Functioning in Motivational versus Volitional

States of Mind. In: Motivation• [10] Zadeh, Lofti A. 1965. Fuzzy sets Information and Control 8(3): 338-353. New York. Polytechnic Press• and Emotion. 11, Nr. 2, S. 101–120• [11] Levensthein, V. I. (1966). Binary Codes Capable of Correcting Deletions, Insertions and Re-versals. Soviet Physics Doklady,

pp. 707–710.• [12] Heine, J., Sylla M., Langer, I., Schramm, T., Abendroth, B., Bruder, R.: Algorithm for driver intention detection with Fuzzy Logic

and Edit Distance, bei IEEE 18th International Conference on Intelligent Transportation Systems ITSC (2015)

Documents

Fahrmanöverprädiktion im urbanen Verkehr auf Basis …urban-online.org/cms/upload/download/HEINE.pdf · Anforderungen: • möglichst ... Zustandsautomat Herausforderungen: •