Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen

Engel Gedan PetersenTU Darmstadt 1

Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen

Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen



Aufgabenstellung

Klassifikation und Regression mittels neuronaler Netze

– Vergleich verschiedener Verfahren• RBF-Netz• SVM (Support Vector Machines)• LOLIMOT

– Implementieren eines RBF-Netzes

– LIBSVM-Interface programmieren

– Entwicklung einer Matlab-GUI

– Auswertung der Resultate



Klopferkennung am Ottomotor

• Klopfen am Ottomotor– Tritt im Zylinder auf (Druckschwankungen)– Entsteht bei hohen Drücken und Temperaturen– Langfristig treten durch das Klopfen

mechanische Schäden auf– Die Motorsteuerung kann entsprechende

Gegenmaßnahmen einleiten

• Klopfdaten:– Körperschallmerkmale im Zeitbereich– Abgeleitete Merkmale im Frequenzbereich



Schätzung des Stickoxidgehalts

• NOx-Emission in Motorabgasen

– Stickoxide unerwünscht (Abgasverordnung)

• Maßnahmen zur NOx-Verminderung

– Optimierung des Verbrennungsprozesses

– Messwerte des NOx-Gehalts notwendig

– Lösung durch Berechnung des NOx-Werts mittels neuronaler Netze

• Vorhersage des NOx-Gehaltes mittels:

– Motordrehzahl– Luftmassenstrom– Drosselklappenstellung



Vergleich der Netze

SVM

LOLIMOT

RBF

GUI

- unterschiedliche Lernalgorithmen- gleiche Netzstrukturen

- unterschiedliche Lernalgorithmen

- unterschiedliche Netzstrukturen

- ähnliche Lernalgorithmen

- unterschiedliche Netzstrukturen



• 3 Freie Parameter – Gewichtung – Position c– Sigma

• N-dimensional

• Netz: Summe vieler Gaußglocken

+

x1

x2

Radiale Basisfunktionen

,c



Orthogonal Least Squares

• Berechnung in zwei Schleifen• Innere Schleife:

Fehlerberechnung für verfeinerte Modelle (Strukturoptimierung)

• Problem: Gewichte sind voneinander abhängig!

• Lösung: orthogonalisieren (Transformation)

• Neue Gewichte sind voneinander unabhängig

• Fehlerberechnung mit neuen Gewichten möglich

• Äußere Schleife:– Rücktransformation– Abbruchkriterien



SVM-Klassifikation • Separation von Daten in Klassen

– Berechnung trennender Hyperebenen

• Optimale Separation durch– Maximierung des Spaltabstands zu beiden Klassen

• Vektoren auf dem Spalt sind Stützpunkte der Ebene

Support-Vektoren

max

x1

x2



SVM-Regression

• Unterschiede zu anderen Verfahren– Insensitivität ()– Toleranz von

Abweichungen ()

• Mathematisches Vorgehen– Abbildung in

hochdimensionalen Raum

– Dort linear lösbar

i

*i

+

-



LIBSVM-Interface

• LIBSVM ist Open Source

• Bietet Kommandozeilentools für– Skalierung– Training – Ein-Schritt-Vorhersage

• Motivation für das Interface– C-Code ist in Matlab nicht direkt verwendbar– Verwendung auf der Kommandozeile umständlich

• Gewinn durch das Interface– Algorithmen jetzt in Matlab verfügbar– Simulation und graphische Darstellung möglich– Einfachere Bedienung



LIBSVM-Interface



Kreuzvalidierung

• Eine Verfeinerung der Modelle führt ab einem gewissen Punkt zu Überanpassung

• Das Minimum lässt sich nicht vorhersagen, sondern muss per Kreuzvalidierung ermittelt werden

• Suche nach Minima des Validierungsfehlers in Abhängigkeit von freien Parametern



GUI



Berechnungen

• Klassifikation– Variation der Datensätze

• Verschiedene Zylinder• Verschiedene Messreihen

– Variation der Merkmale• Zeitbereichsmerkmale• Frequenzbereichsmerkmale• Kombination

• Regression– Training mit Ein-Schritt-Prädiktion– Anschließende Überprüfung mit einer Simulation



0

5

10

15

20

25

30

35

4 -> 4 t 4 -> 4SA

6 -> 4 t 6 -> 4SA

4 -> 6 t 4 -> 6SA

4 -> 6FRQ

SVMRBFLOLIMOT

Ergebnisse

• Erfolg schwach abhängig von der Wahl des Verfahrens

• Jedoch stark abhängig von der Wahl der Daten

Kla

ssif

ikat

ion

sfeh

ler

in %



Regression



Zusammenfassung und Ausblick

• Problemstellung mit gegebenen Verfahren gut lösbar

• Daten wichtiger als Verfahren (Messstrategien)

• Rechenzeit abhängig vom Verfahren

• Toolbox erfolgreich entwickelt

• Überprüfung der Praxistauglichkeit

• Ausbau der Toolbox möglich

• Weitere Anwendungen der Toolbox sinnvoll



Noch Fragen?

Documents

Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen