ITB logo
WS 1999/2000

Theorie neuronaler Systeme

Dr. Laurenz Wiskott und Prof. Andreas V. M. Herz
HU logo


Vorlesung: Donnerstags 12-14 Uhr im Gebäude I 110 (Invalidenstraße 110), Raum 670.
Übungen: Mittwochs 16-18 Uhr im Gebäude I 110, Raum 400.

Neuronale Netze sind von natürlichen neuronalen Systemen inspirierte Modelle zur Informationsverarbeitung. Einerseits tragen sie zu einem besseren Verständnis von Selbstorganisationsprozessen im Gehirn bei. Andererseits sind sie wegen ihrer Lernfähigkeit, Robustheit und Parallelität für technische Anwendungen interessant.

In dieser Vorlesung werden vorwärts- und rückgekoppelte neuronale Netze behandelt. Der Schwerpunkt liegt auf der mathematischen Modellierung und Analyse, es werden aber auch Anwendungsbeispiele gebracht und Bezüge zur Biologie hergestellt.

Zur Vorlesung werden Übungen angeboten.

Achtung! Gelegentlich stelle ich Übungsaufgaben, die nicht lösbar sind. In dem Falle soll gezeigt oder zumindest begründet werden, warum die Aufgabe nicht lösbar ist, was in der Regel relativ einfach ist.


Übersicht

21.10.1999 1 Einführung und Motivation
1.1 Präliminarien
1.2 Motivation
1.3 Zahlenvergleich Gehirn versus Rechner
1.4 Physiologische Neuronen Kandel et al. (1995) I.2
1.5 Künstliche Neuronen Hertz et al. (1991) 1.1
1.6 Vorwärtsgekoppelte Netze
1.7 Rückgekoppelte Netze
Übungen 1
VORWÄRTSGEKOPPELTE NETZE
28.10.1999 2 Perzeptron Rojas (1996) 3, 4; Hertz et al. (1991) 5
2.1 Definition und historische Anmerkungen Rojas (1996) 3.1, 3.5, 4.5; Stanley et al. (1991) 5 S. 90-91
2.2 Geometrische Interpretation und lineare Trennbarkeit Rojas (1996) 3.2, 3.3; Hertz et al. (1991) 5.1, 5.2 S. 92-97
2.3 Lernregel für Schwellenwert-Zellen Rojas (1996) 4.2.1, 4.2.3, 4.3; Hertz et al. (1991) 5.2 S. 97-100, 5.3
2.4 Lernregel für lineare Zellen Hertz et al. (1991) 5.4; Rojas (1996) 8.1.2
Übungen 2
4.11.1999 3 Mehrschichtige Netze Rojas (1996) 6, 7; Hertz et al. (1991) 6
3.1 Einführung Rojas (1996) 7.1.1, 7.4; Hertz et al. (1991) 6.1 S. 115
3.2 Visualisierung der Funktionsweise mit Sigmoid-Zellen Bishop (1995) 4.3.1; Rojas (1996) 7.1, 8.2, 8.3
3.3 Fehlerrückführung Bishop (1995) 4.8; Rojas (1996) 6; Hertz et al. (1991) 6.1
3.4 Anwendungen Hertz et al. (1991) 6.3; Rojas (1996) 8.5; Stanley et al. (1991) 6
Übungen 3
11.11.1999 * Sondervorlesung von Dr. Martin Stemmler
18.11.1999 4 Unüberwachtes hebbsches Lernen Hertz et al. (1991) 8; Rojas (1996) 5.3; Bishop (1995) 8.6, E
4.1 Einführung Hertz et al. (1991) 8.1; Rojas (1996) 5.1.1
4.2 Hebbsches Lernen Hertz et al. (1991) 8.2 S. 199-201; Rojas (1996) 5.3.1 S. 113-114; Bishop (1995) 8.6.3
4.3 Normierung der Gewichtsvektoren Hertz et al. (1991) 8.2 S. 201-204; Rojas (1996) 5.3.1 S. 115-116; Bishop (1995) 8.6.3
4.4 Hauptkomponentenanalyse Hertz et al. (1991) 8.3 S. 204-206; Bishop (1995) 8.6 S. 310-313; Rojas (1996) 5.3.1 S. 113-114, 5.3.3
4.5 Linskers Modell Hertz et al. (1991) 8.4
Übungen 4
25.11.1999 5 Unüberwachtes Lernen durch Konkurrenz Hertz et al. (1991) 9; Rojas (1996) 5.1, 5.2
5.1 Einführung Hertz et al. (1991) 9 S. 217-218; Rojas (1996) 5.2.5 S. 112-113
5.2 Aufteilung des Eingaberaums Hertz et al. (1991) 9.1 S. 220, 9.2 S. 225; Rojas (1996) 5.2.5 S. 112-113
5.3 Lernverfahren Hertz et al. (1991) 9.1 S. 218-220; Rojas (1996) 5.1.3
5.4 Energiefunktion und Konvergenz Hertz et al. (1991) 9.1 S. 221-223; Rojas (1996) 5.2
5.5 Selbstorganisierende Karten Hertz et al. (1991) 9.4 S. 236-237; Rojas (1996) 15.2.1
5.6 Anwendungen Hertz et al. (1991) 9.4 S. 237-240; Rojas (1996) 15.4
Übungen 5
2.12.1999 6 Radiale Basisfunktionen Netze Bishop (1995) 5; Hertz et al. (1991) 9.7 S. 248-250; Rojas (1996) 16.2.3
6.1 Einführung
6.2 Nichtlineare Probleme linear lösbar machen
6.3 Radiale Basisfunktionen
" 7 Verstärkungslernen Kaelbling et al. (1996); Hertz et al. (1991) 7.4 S. 188
7.1 Einführung
7.2 Begriffe
7.3 Lernverfahren
7.4 Probleme und Variationen
7.5 Anwendungen Kaelbling et al. (1996) 8
Übungen 6/7
9.12.1999 * Einschub: Elementare Einführung in die Wahrscheinlichkeitsrechnung
" 8 Generalisierung Bishop (1995) 6.1.3, 9; Hertz et al. (1991) 6.4, 6.5, 6.6; Rojas (1996) 6.3.4
8.1 Einführung
8.2 Interpretation der quadratischen Fehlerfunktion Bishop (1995) 6.1.3
8.3 Bias-Varianz Dilemma (formale Herleitung) Bishop (1995) 9.1
Übungen 8
16.12.1999 8.4 Kreuzvalidierung Bishop (1995) 9.8.1
8.5 Kontrolle der Netzwerkkomplexität Bishop (1995) 9.2-9.5
" 9 Bayes'sche Theorie Bishop (1995) 10
9.1 Einführung
9.2 A posteriori Wahrscheinlichkeitsverteilung der Modellparameter Bishop (1995) 10.1
Übungen 9 (nur bis einschließlich Aufgabe 9.2.2)
6.1.2000 9.3 Wahrscheinlichkeitsverteilung der Netzwerkausgabe Bishop (1995) 10.2 S. 398-400
9.4 Hyperparameter Bishop (1995) 10.4
9.5 Zusammenfassung Bishop (1995) 10 S. 385
" 10 Zusammenfassung und Begriffsübersicht Stanley et al. (1991) Anhang A
Übungen 9 (Aufgaben 9.2.3 u. 9.2.4)
Übungen 10
RÜCKGEKOPPELTE NETZE
13.1.2000 11 Rückgekoppelte Netze: Eine Übersicht Hertz et al. (1991) 2.2, 7
11.1 Einführung Hertz et al. (1991) 7.3 S. 176-177, 2.1
11.2 Angepasste vorwärtsgekoppelte Netze Hertz et al. (1991) 7.3 S.177-186
11.3 Hopfield Netz Hertz et al. (1991) 2.2 S. 13-17, S. 21-23
Übungen 11
20.1.2000 11.4 Boltzmann Maschine Hertz et al. (1991) 7.1 S. 163-169
11.5 Zusammenfassung
" 12 Hopfield-Netz (diskret und rauschfrei)
12.1 Trajektorien im Zustandsraum Amit (1989) 2.2
12.2 Frustrierte Systeme Amit (1989) 2.3.6
Übungen 12
27.1.2000 12.3 Falsche Muster Hertz et al. (1991) 2.2 S. 24, Amit (1989) 2.3.3, 4.5
(20.1.2000) 12.4 Speicherkapazität Hertz et al. (1991) 2.2 S. 17
12.5 Pseudoinverse Hertz et al. (1991) 3.2
12.6 Zusammenfassung
Übungen 12b
3.2.2000 13 Hippocampus (CA3) als Assoziativspeicher Treves & Rolls (1994)
13.1 Architektur des Hippocampus
13.2 CA3-Region
13.3 Gyrus dentatus
13.4 CA1-Region
13.5 Übertragung ins Langzeitgedächtnis
" 14 Hopfield-Netz (mit Rauschen)
14.1 Stochastische Zelle Hertz et al. (1991) 2.3 S.26-29, 2.4 S. 32-33; Amit (1989) 2.1.3
14.2 Molekularfeld-Näherung Hertz et al. (1991) 2.3 S. 29-30, 2.4 S. 33-35
Übungen 12c
10.2.2000 14.3 Stabilität eines Musters für M<<N Hertz et al. (1991) 2.3 S. 30-32, 2.4 S. 33-35
14.4 Speicherkapazität Hertz et al. (1991) 2.5 S. 35-39
14.5 Phasendiagramm Hertz et al. (1991) 2.5 S. 39-41
" 15 Stochastische Prozesse
15.1 Zustandswahrscheinlichkeiten und Übergangsmatrix Amit (1989) 3.1.1 S. 99
15.2 Zeitentwicklung und Spektraldarstellung von W Amit (1989) 3.1.1 S. 100-101
Übungen 14/15
17.2.2000 15.3 Brechen der Ergodizität Amit (1989) 3.1.2
* Sondervorlesung: Lernen von Invarianzen im visuellen System


Literatur

Einige der hier aufgeführten Bücher zur Theorie neuronaler Systeme stehen in der Zweigbibliothek Physik unter den Notationen ST 152 und ST 300 als Präsenzexemplare bereit.


updated August 18, 2006
Laurenz Wiskott, http://www.neuroinformatik.ruhr-uni-bochum.de/PEOPLE/wiskott/