SS 2006 2 30 1 1. Einführung Künstlich Neuronale Netze (KNN) R1.5 Computational Intelligence: Grundlagen Neuronaler Netze (NN) Jörg Krone, Ulrich Lehmann,

1SS 2006 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

2

30

Computational Intelligence: Grundlagen Neuronaler Netze (NN)

Jörg Krone, Ulrich Lehmann, Johannes Brenig, Oliver Drölle, Michael Schneider


2

30

Inhalt

• Was sind Neuronale Netze (NN)?

• Beteiligte Wissensgebiete an der NN-Forschung

• Vergleich neuronales Modell gegen Gehirn

• 100 Schritt-Regel

• Eigenschaften Neuronaler Netze

• Geschichte der Entwicklung von Modellen für Neuronale Netze (KNN) seit 1942

• Geschichte der Entwicklung von KNN 1955






• Anwendungen Neuronaler Netze 1997 bis 1999

• CI an der FH SWF von 2000 bis heute


2

30

Was sind Neuronale Netze (NN)?

NN (Neuronale Netze)KNN (Künstlich Neuronale Netze)ANN (artificial neuronal networks)

• sind informationsverarbeitende Systeme,

• die aus einer großen Anzahl einfacher Einheiten (Zellen, Neuronen) bestehen,

• die sich Informationen in Form der Aktivierung der Zellen über gerichtete Verbindungen (connenctions, links) zusenden.


2

30

Wie arbeiten Neuronale Netze (NN) und womit sind sie vergleichbar?

KNN haben eine grobe Analogie zu den Gehirnen von Säugetieren:

• Informationsverarbeitung durch sehr viele Nervenzellen, die im Verhältnis zum Gesamtsystem sehr einfach sind

• und die den Grad ihrer Erregung über Nervenfasern an andere Nervenzellen weiterleiten.

• Hiebei handelt es sich um massiv parallele, lernfähige Systeme, die in vielen Anwendungsfeldern einsetzbar sind.


2

30

Wissenschaften mit Verbindungen zum Gebiet der

neuronalen Netze (NN)

Computational IntelligenceFuzzy-Logik, NN,

Evolutionäre Algorithmen


2

30

Vergleich zwischen Gehirn und Rechner


2

30

Die 100-Schritt-Regel

Ein bekanntes Argument für die massive Parallelverarbeitung im menschlichen Gehirn:

Sie können das Bild einer bekannten Person in ca. 0,1 s erkennen!

Bei einer Schaltzeit von 1 ms für Neuronen also in max. 100 sequentiellen Zeitschritten oder 100 Ebenen von Neuronen.


2

30

Eigenschaften Neuronaler Netze ++ Vorteile ++

Lernfähigkeit

Parallelität

verteilte Wissensrepräsentation

höhere Fehlertoleranz

assoziative Speicherung von Informationen

Robustheit gegen Störungen

spontane Generalisierung von Eingabemustern

aktive Repräsentation des Wissens.


2

30

Eigenschaften Neuronaler Netze -- Nachteile --

Wissenserwerb ist nur durch Lernen möglich (kein Basiswissen im NN ablegbar)

NN können keine Analyse ihres eigenen Wissens oder Problemlösungsvorgangs durchführen

sequentielles logisches Schließen (wie die Inferenz bei Fuzzy-Logik) ist mit NN nur sehr schwer durchführbar

Lernvorgang ist relativ langsam.


2

30

Geschichte Neuronaler Netze 1942

Frühe Anfänge 1942 bis 1955

1943 McCulloch und Pitts beschreiben neurologische Netzwerke basierend auf dem McCulloch-Pitts-Neuron und zeigen, das auch einfache NN prinzipiell jede arithmetische oder logische Funktion berechnen können

1949 Hebb beschreibt die mittlerweile klassische Hebb’sche

Lernregel 1950 Lashley, ein Neurologe, zeigt durch Tierversuche, dass die

Information im Gehirn in einer verteilten Repräsentation gespeichert sein muss.


2

30


Erste Blütezeit 1955 bis 1969

1957 Erster erfolgreicher Neurocomputer (Mark I Perceptron) von Rosenblatt und Wightman am MIT. Erkennung von Ziffern mit 20 x 20 Pixel Bildsensor und 512 motorgetriebenen Potentiometern (!) als Gewichte

1958 Selfridge stellt ersten Morse-Code-Übersetzer auf Basis eines „Pandemonium“ (Neuro-Computer) vor

1959 Einfache technische Realisierung von technischen Assoziativspeichern mit der „Lernmatrix“ von Steinbuch

1960 Entwicklung eines adaptiven Systems „Adaline“, das genau und schnell lernen kann von Widrow und Marcian

1963 Memistoren von Widrow. Transistor-ähnliche Elemente, mit den die einstellbaren Gewichte eines KNN (Künstlich Neuronales Netz) elektronisch realisiert werden können. Memistor Corporation, die erste Neurocomputing-Firma wird von Widrow gegründet.

1964 Durch Überschätzung in den Medien Einbruch des Interesses an NN (besonders vom Departement of Defense in USA) als die Grenzen der damals verwendeten Modelle und Lernverfahren bekannt werden.


2

30


Die stillen Jahre 1969 bis 1984 1969 Genaue mathematische Analyse des XOR-Problems und der Nichtlösbarkeit in

einschichtigen KNN von Minsky und Papert. Von da an konzentrierten sich viele Forscher auf die Künstliche Intelligenz

1972 Kohonen stellte mit „Correlation matrix memories“ ein Modell eines speziellen Assoziativspeichers mit linearen Aktivierungsfunktionen und kontinuierliche Werte für Gewichte, Aktivierungen und Ausgaben

1973 Ein komplexeres, biologisch besser motiviertes nichtlineares Neuronenmodell von C. von der Malsburg, Uni Dortmund

1974 Entwicklung des Backpropagation-Verfahren von Werbos, Dissertation an der Harvard-Universität

1976 Sigmoide Aktivierungsfunktion für Neuronen und nichtlineare laterale Hemmungen von Grossberg;

Neuronaler Algorithmus zum Stereo-Sehen (Präsentation der Bildtiefe) von Marr und Poggio


2

30


Die stillen Jahre ... bis 1984 1981 Binäre Hopfield-Netze als neuronales Äquivalent der Ising-Modelle der Physik von

Hopfield

1982 Selbstorganisierende Karten (Speicher) von Kohonen

1983 Neocognitron: ein neuronales Modell zur positions- und skalierungsinvarianten Erkennung handgeschriebener Zeichen aus einer schichtweisen Folge einfacher und komplexer Zellen, wie sie auch im biologischen visuellen System von Katzen vorkommen;

Neuronales Modell zur adaptiven Regelung für das Balancieren eines senkrechten Stabes Lösung von schwierigen Optimierungsaufgaben wie Chip-Plazierung auf der Leiterplatte, Verdrahtung der Chips,

1984 Boltzmann-Maschine zur Wiedergewinnung scharfer Bilder aus unscharfen Bildern von Geman


2

30


Die Renaissance neuronaler Netze 1985 bis heute

1985 Hopfield beschreibt in einem Artikel, wie KNN schwierige Optimierungsaufgaben (Traveling Salesman Problem) lösen können und kann viele Forscher von der Wichtigkeit des Forschungsgebietes NN überzeugen

1986 Publikation des Lernverfahrens Backpropagation durch Rumelhart, Hinton und Williams

Vorstellung von Nettalk, ein mit Backpropagation trainiertes vorwärtsgerichtetes NN, das die Aussprache geschriebener Einzelwörter aus dem Englischen selbständig lernt und dabei innerhalb von wenigen Wochen (Aufwand für das Gesamtprojekt) eine beachtliche Leistung erreicht (nahezu wie DECtalk: wissensbasierte Maschine, viele Mannjahre Entwicklungszeit)

Explosionsartige Entwicklung des Fachgebietes NN seit 1986

o eigene Fachzeitschriften: Neural Networks, Neural Computation, Neurocomputing, IEEE Trans. on Neural Networks, ...

o Gründung großer wissenschaftlicher Gesellschaften: INNS (International Neural Network Society), ENNS (European Neural Network Society), IEEE Fachgruppe über KNN, GI-Fachgruppen, VDI-GMA-Fachgruppen über NN

1990 Entwicklungsumgebungen für Entwicklung, Training, Simulation und Code-Generation für KNN kommen auf den Markt

1991 Analoge VLSI-Chips für NN werden von den Firmen AT&T, Bellcore, und Intel entwickelt (Abb. 33.1 pdf mit Nachbearbeitung)


2

30


1991 Kohonen-Netze für Robotik-Anwendungen werden erfolgreich in der Grundlagenforschung eingesetzt von Ritter, Uni Bielefeld

1992 Gute Lehrbücher über KNN kommen auf den Markt

Digitale VLSI-Chips für NN werden von den Firmen Hitachi, Adaptive Solutions, Siemens, Intel, Torrent und NeuraLogix entwickelt (Abb. 33.10 pdf mit Nachbearbeitung)

1993 Siemens entwickelt einen VLSI-Neurocomputer SYNAPSE-1 basierend auf dem selbstentwickelten VLSI-Chip MA 16 (Abb. 33.4 pdf mit Nachbearbeitung)


2

30


1996 Forschungsverbund Neuronale Fuzzy-Logik (NFL) von 6 Fachhochschulen in NRW wird unter der Leitung der FH Südwestfalen Abt. Iserlohn gegründet und vom MWF finanziert. Ziel: Anwendungsorientierte Forschung für kleine und mittlere Unternehmen (KMU) (Abb. NFL-Flyer.pdf)

Gemeinsame Tagungen von großen wissenschaftlichen Gesellschaften: GI mit VDI. Die Fachgebiete Fuzzy-Logik, Evolutionäre Algorithmen und Neuronale Netze verzahnen sich stärker. Es tauchen übergeordnete Begriffe für die genannten Fachgebiete auf (L. Zadeh: Softcomputing oder vom IEEE: Computational Intelligence)

Performance der PCs wird groß genug, um KNN für die Lösung von technischen Problemen zu entwickeln, zu trainieren und zu handhaben. Leistungsfähige KNN-Entwicklungsumgebungen für PC werden verfügbar.


2

30

Anwendungen Neuronaler Netze 1997 bis 1999

1997 Analyse eines Umformprozesses mit KNN und Entwurf einer prädiktiven Regelung für die Industrie an der FH SW in Iserlohn von Brenig, Hohage, Lehmann, Reitz, Wöstmann (Abb. DA-Poster.pdf)

1998 Die Fachgebiete Fuzzy-Logik, Neuronale Netze und Evolutionäre

Algorithmen wachsen unter der Überschrift CI (Computational Intelligence) und/oder Softcomputing stärker zusammen. Häufigkeit der Begriffe im Internet Stand 10/2003:CI: Softcomputing:Fuzzy Logic: NN:Evolutionäre Algorithmen: Evolutionary Computing:

1999 Der Forschungsverbund NFL präsentiert auf der INTERKAMA in Düsseldorf

vielbeachtete technische Lösungen für Neuro-Regler und Neuro-Fuzzy-Regler (Bild Interkama.jpg)


2

30

CI an der FH SWF von 2000 bis heute

2000 Arbeitskreis COIN wird von 4 Fachhochschulen in NRW mit Beteiligung der FH SWF gegründet: Ziel: Entwicklung von CI-Reglern und Lösung von Automatisierungsproblemen mit CI-Systemen für die Industrie

2003 Der Arbeitskreis COIN (Computational Intelligence for Industry) zeigt unter Beteiligung der FH SW Iserlohn einen CI-Regler für Belichtungs-regelungen auf der Hannover Messe Industrie 2003

2003 Gründung des CIC.Lab an der FH Südwestfalen in Iserlohn

2004 Einrichtung einer Kompetenzplattform Computer Vision based on Computational Intelligence an der FH Südwestfalen durch das Land NRW

2005 Einrichtung eines Masterstudienganges CV&CI (Computer Vision and Computational Intelligence) an der FH Südwestfalen

2006 Präsentation eines SPAM-Filter auf CI-Basis mit KNN und Bayes-Filter auf der CeBIT 2006 im März in Hannover


2

30

Fragen ?

Fragen Sie bitte!


2

30

Neurocomputer Beispiel


2

30

Neurocomputer von Siemens


2

30

Forschungsverbund Neuronale Fuzzy-Logik


2

30

CI-Konferenz in Baden-Baden


2

30

Gründung CIC.Lab


2

30

Neuronale Netze für die Systemanalyse


2

30

Anwendung Neuro-PID-Regler


2

30

Anwendung CI-Regler


2

30

Kompetenzplattform Computer Vision based on Computational

Intelligence KOPF CV&CI


2

30

In Kooperation mit: FH GelsenkirchenFH Köln, GummersbachFH BochumFH AachenFH BielefeldHochschule Wallis, CHUniversité Amiens, FPolitechnico Setubal, PTStaffordshire University, GBFoshan University, VR

MasterstudiengangComputer Vision and Computational

Intelligence

FH Köln Campus Gummersbach

, HagenMeschede, Soest


2

30

SPAM-Filter auf CI-Basis auf der CeBIT 2006 in Hannover

E-Mail SPAM

Documents

SS 2006 2 30 1 1. Einführung Künstlich Neuronale Netze (KNN) R1.5 Computational Intelligence: Grundlagen Neuronaler Netze (NN) Jörg Krone, Ulrich Lehmann,