ITB logo
WS 2002/2003

Künstliche neuronale Netze

Dr. Laurenz Wiskott
HU logo


Vorlesung: Dienstags 12-14 Uhr im Gebäude I 110 (Invalidenstraße 110), Raum 670.
Übungen: Dienstags 14-16 Uhr im Gebäude I 110, Raum 670.

Künstliche Neuronale Netzen sind von natürlichen neuronalen Systemen inspirierte Modelle zur Informationsverarbeitung. Einerseits tragen sie zu einem besseren Verständnis von Selbstorganisationsprozessen im Gehirn bei. Andererseits sind sie wegen ihrer Lernfähigkeit, Robustheit und Parallelität für technische Anwendungen interessant.

In dieser Vorlesung werden vorwärts- und rückgekoppelte neuronale Netze behandelt, es wird auf überwachtes und unüberwachtes Lernen eingegangen und es werden einige weitere verwandte Methoden zur Datenanalyse vorgestellt. Als Anwendungen werden assoziative Speicherung, Klassifikation, Regression und Kodierung im Vordergrund stehen. Der Bezug zur Biologie wird nur am Rande diskutiert.

Diese Vorlesung richtet sich in erster Linie an Studierende im Diplomstudiengang Physik, kann aber auch für Biologie- und Biophysikstudenten mit Interesse an technischen Anwendungen interessant sein. Physikstudenten können die Vorlesung für das Wahlpflichtfach Statistische Physik / Nichtlineare Dynamik (wahlfrei) wählen.

Zur Vorlesung werden Übungen angeboten.


Übersicht

15.10.2002 1 Einführung und Motivation
1.1 Präliminarien
1.2 Motivation
1.3 Zahlenvergleich Gehirn versus Rechner
1.4 Physiologische Neuronen Kandel et al. (1995) I.2
1.5 Künstliche Neuronen Hertz et al. (1991) 1.1
1.6 Vorwärtsgekoppelte Netze
1.7 Rückgekoppelte Netze
Übungen 1
VORWÄRTSGEKOPPELTE NETZE (überwachtes Lernen)
2 Perzeptron Rojas (1996) 3, 4; Hertz et al. (1991) 5
2.1 Geometrische Interpretation und lineare Trennbarkeit Rojas (1996) 3.2, 3.3; Hertz et al. (1991) 5.1, 5.2 S. 92-97
22.10.2002 2.2 Lernregel für Schwellenwert-Neurone (Klassifikation) Rojas (1996) 4.2.1, 4.2.3, 4.3; Hertz et al. (1991) 5.2 S. 97-100, 5.3
2.3 Lernregel für lineare Zellen (lineare Regression, Energiefunktion) Hertz et al. (1991) 5.4; Rojas (1996) 8.1.2
Übungen 2
29.10.2002 2.4 Fisher Diskriminanten Bishop (1995) 3.6.1
2.5 Nichtlineare Erweiterung des Eingaberaums Bishop (1995) 4.5
2.6 Grenzen des Perzeptrons Bishop (1995) 3.5.4
Übungen 3
5.11.2002 3 Mehrschichtige Netze Rojas (1996) 6, 7; Hertz et al. (1991) 6
3.1 Einführung Rojas (1996) 7.1.1, 7.4; Hertz et al. (1991) 6.1 S. 115
3.2 Visualisierung der Funktionsweise mit Sigmoid-Zellen Bishop (1995) 4.3.1; Rojas (1996) 7.1, 8.2, 8.3
3.3 Fehlerrückführung Bishop (1995) 4.8; Rojas (1996) 6; Hertz et al. (1991) 6.1
3.4 Anwendungen Hertz et al. (1991) 6.3; Rojas (1996) 8.5; Stanley et al. (1991) 6
Übungen 4
12.11.2002 * Einschub: Elementare Einführung in die Wahrscheinlichkeitsrechnung
4 Generalisierung Bishop (1995) 6.1.3, 9; Hertz et al. (1991) 6.4, 6.5, 6.6; Rojas (1996) 6.3.4
4.1 Einführung
4.2 Interpretation der quadratischen Fehlerfunktion Bishop (1995) 6.1.3
4.3 Bias-Varianz Dilemma (formale Herleitung) Bishop (1995) 9.1
Übungen 5
19.11.2002 4.4 Kreuzvalidierung Bishop (1995) 9.8.1
4.5 Kontrolle der Netzwerkkomplexität Bishop (1995) 9.2-9.5
Übungen 6
26.11.2002 5 Bayes'sche Theorie Bishop (1995) 10
5.1 Einführung
5.2 A posteriori Wahrscheinlichkeitsverteilung der Gewichte Bishop (1995) 10.1
5.3 A priori Wahrscheinlichkeitsverteilung der Gewichte Bishop (1995) 10.1
5.4 Bedingte Wahrscheinlichkeitsverteilung der Daten Bishop (1995) 10.1
5.5 A posteriori Wahrscheinlichkeitsverteilung der Gewichte II Bishop (1995) 10.1
Übungen 7
3.12.2002 5.6 Wahrscheinlichkeitsverteilung der Netzwerkausgabe Bishop (1995) 10.2 S. 398-400
5.7 Hyperparameter Bishop (1995) 10.4
5.8 Zusammenfassung Bishop (1995) 10 S. 385
Übungen 8
10.12.2002 * Support Vector Machines (Vorlesung von Tobias Blaschke)
VORWÄRTSGEKOPPELTE NETZE (unüberwachtes Lernen)
(3.12.2002) 6 Unüberwachtes hebbsches Lernen Hertz et al. (1991) 8; Rojas (1996) 5.3; Bishop (1995) 8.6, E
6.1 Einführung Hertz et al. (1991) 8.1; Rojas (1996) 5.1.1
6.2 Hebbsches Lernen Hertz et al. (1991) 8.2 S. 199-201; Rojas (1996) 5.3.1 S. 113-114; Bishop (1995) 8.6.3
6.3 Normierung der Gewichtsvektoren Hertz et al. (1991) 8.2 S. 201-202; Rojas (1996) 5.3.1 S. 115-116; Bishop (1995) 8.6.3
Übungen 9
17.12.2002 6.4 Lineare Stabilitätsanalyse Hertz et al. (1991) 8.2 S. 202-204; Rojas (1996) 5.3.1 S. 115-116; Bishop (1995) 8.6.3
6.5 Hauptkomponentenanalyse Hertz et al. (1991) 8.3 S. 204-206; Bishop (1995) 8.6 S. 310-313; Rojas (1996) 5.3.1 S. 113-114, 5.3.3
6.6 Weißen
Übungen 10
7.1.2003 7 Unabhängige Komponenten-Analyse (ICA)
7.1 Einführung
7.2 Erzeugendes Modell
7.3 Momente und Kumulanten
Übungen 11
14.1.2003 7.4 Givens Rotation
7.5 Kontrastfunktion
7.6 ICA-Algorithmus
7.7 Anwendungen
Übungen 12
21.1.2003 8 Vektorquantisierung Hertz et al. (1991) 9; Rojas (1996) 5.1, 5.2
8.1 Einführung Hertz et al. (1991) 9 S. 217-218; Rojas (1996) 5.2.5 S. 112-113
8.2 Aufteilung des Eingaberaums Hertz et al. (1991) 9.1 S. 220, 9.2 S. 225; Rojas (1996) 5.2.5 S. 112-113
8.3 Lernverfahren Hertz et al. (1991) 9.1 S. 218-220; Rojas (1996) 5.1.3
8.4 Energiefunktion und Konvergenz Hertz et al. (1991) 9.1 S. 221-223; Rojas (1996) 5.2
8.5 Selbstorganisierende Karten Hertz et al. (1991) 9.4 S. 236-237; Rojas (1996) 15.2.1
8.6 Anwendungen Hertz et al. (1991) 9.4 S. 237-240; Rojas (1996) 15.4
Übungen 13
28.1.2003 9 Radiale Basisfunktionen Netze Bishop (1995) 5; Hertz et al. (1991) 9.7 S. 248-250; Rojas (1996) 16.2.3
" 10 Verstärkungslernen Kaelbling et al. (1996); Hertz et al. (1991) 8.4 S. 188
10.1 Einführung
10.2 Begriffe
10.3 Lernverfahren
10.4 Probleme und Variationen
10.5 Anwendungen Kaelbling et al. (1996) 8
RÜCKGEKOPPELTE NETZE
4.2.2003 11 Rückgekoppelte Netze: Eine Übersicht Hertz et al. (1991) 2.2, 7
11.1 Einführung Hertz et al. (1991) 7.3 S. 176-177, 2.1
11.2 Angepasste vorwärtsgekoppelte Netze Hertz et al. (1991) 7.3 S.177-184
11.2 Lernen im rückgekoppelten Netz Hertz et al. (1991) 7.3 S.184-186
11.3 Hopfield Netz Hertz et al. (1991) 2.2 S. 13-17, S. 21-23
11.4 Boltzmann Maschine Hertz et al. (1991) 7.1 S. 163-169
11.5 Zusammenfassung
11.2.2003 12 Hopfield-Netz (diskret und rauschfrei)
12.1 Trajektorien im Zustandsraum Amit (1989) 2.2
12.2 Frustrierte Systeme Amit (1989) 2.3.6
12.3 Energiefunktion
12.4 Falsche Muster Hertz et al. (1991) 2.2 S. 24, Amit (1989) 2.3.3, 4.5
12.5 Zusammenfassung

Literatur

Einige der hier aufgeführten Bücher zur Theorie neuronaler Systeme stehen in der Zweigbibliothek Physik unter den Notationen ST 152 und ST 300 als Präsenzexemplare bereit.


last update October 28, 2007
Laurenz Wiskott, http://www.neuroinformatik.ruhr-uni-bochum.de/PEOPLE/wiskott/