WS 1999/2000

Theorie neuronaler Systeme

Dr. Laurenz Wiskott und Prof. Andreas V. M. Herz

Vorlesung: Donnerstags 12-14 Uhr im Gebäude I 110 (Invalidenstraße 110), Raum 670.
Übungen: Mittwochs 16-18 Uhr im Gebäude I 110, Raum 400.

Neuronale Netze sind von natürlichen neuronalen Systemen inspirierte Modelle zur Informationsverarbeitung. Einerseits tragen sie zu einem besseren Verständnis von Selbstorganisationsprozessen im Gehirn bei. Andererseits sind sie wegen ihrer Lernfähigkeit, Robustheit und Parallelität für technische Anwendungen interessant.

In dieser Vorlesung werden vorwärts- und rückgekoppelte neuronale Netze behandelt. Der Schwerpunkt liegt auf der mathematischen Modellierung und Analyse, es werden aber auch Anwendungsbeispiele gebracht und Bezüge zur Biologie hergestellt.

Zur Vorlesung werden Übungen angeboten.

Achtung! Gelegentlich stelle ich Übungsaufgaben, die nicht lösbar sind. In dem Falle soll gezeigt oder zumindest begründet werden, warum die Aufgabe nicht lösbar ist, was in der Regel relativ einfach ist.

Übersicht

21.10.1999	1	Einführung und Motivation
	1.1	Präliminarien
	1.2	Motivation
	1.3	Zahlenvergleich Gehirn versus Rechner
	1.4	Physiologische Neuronen	Kandel et al. (1995) I.2
	1.5	Künstliche Neuronen	Hertz et al. (1991) 1.1
	1.6	Vorwärtsgekoppelte Netze
	1.7	Rückgekoppelte Netze
		Übungen 1
		VORWÄRTSGEKOPPELTE NETZE
28.10.1999	2	Perzeptron	Rojas (1996) 3, 4; Hertz et al. (1991) 5
	2.1	Definition und historische Anmerkungen	Rojas (1996) 3.1, 3.5, 4.5; Stanley et al. (1991) 5 S. 90-91
	2.2	Geometrische Interpretation und lineare Trennbarkeit	Rojas (1996) 3.2, 3.3; Hertz et al. (1991) 5.1, 5.2 S. 92-97
	2.3	Lernregel für Schwellenwert-Zellen	Rojas (1996) 4.2.1, 4.2.3, 4.3; Hertz et al. (1991) 5.2 S. 97-100, 5.3
	2.4	Lernregel für lineare Zellen	Hertz et al. (1991) 5.4; Rojas (1996) 8.1.2
		Übungen 2
4.11.1999	3	Mehrschichtige Netze	Rojas (1996) 6, 7; Hertz et al. (1991) 6
	3.1	Einführung	Rojas (1996) 7.1.1, 7.4; Hertz et al. (1991) 6.1 S. 115
	3.2	Visualisierung der Funktionsweise mit Sigmoid-Zellen	Bishop (1995) 4.3.1; Rojas (1996) 7.1, 8.2, 8.3
	3.3	Fehlerrückführung	Bishop (1995) 4.8; Rojas (1996) 6; Hertz et al. (1991) 6.1
	3.4	Anwendungen	Hertz et al. (1991) 6.3; Rojas (1996) 8.5; Stanley et al. (1991) 6
		Übungen 3
11.11.1999	*	Sondervorlesung von Dr. Martin Stemmler
18.11.1999	4	Unüberwachtes hebbsches Lernen	Hertz et al. (1991) 8; Rojas (1996) 5.3; Bishop (1995) 8.6, E
	4.1	Einführung	Hertz et al. (1991) 8.1; Rojas (1996) 5.1.1
	4.2	Hebbsches Lernen	Hertz et al. (1991) 8.2 S. 199-201; Rojas (1996) 5.3.1 S. 113-114; Bishop (1995) 8.6.3
	4.3	Normierung der Gewichtsvektoren	Hertz et al. (1991) 8.2 S. 201-204; Rojas (1996) 5.3.1 S. 115-116; Bishop (1995) 8.6.3
	4.4	Hauptkomponentenanalyse	Hertz et al. (1991) 8.3 S. 204-206; Bishop (1995) 8.6 S. 310-313; Rojas (1996) 5.3.1 S. 113-114, 5.3.3
	4.5	Linskers Modell	Hertz et al. (1991) 8.4
		Übungen 4
25.11.1999	5	Unüberwachtes Lernen durch Konkurrenz	Hertz et al. (1991) 9; Rojas (1996) 5.1, 5.2
	5.1	Einführung	Hertz et al. (1991) 9 S. 217-218; Rojas (1996) 5.2.5 S. 112-113
	5.2	Aufteilung des Eingaberaums	Hertz et al. (1991) 9.1 S. 220, 9.2 S. 225; Rojas (1996) 5.2.5 S. 112-113
	5.3	Lernverfahren	Hertz et al. (1991) 9.1 S. 218-220; Rojas (1996) 5.1.3
	5.4	Energiefunktion und Konvergenz	Hertz et al. (1991) 9.1 S. 221-223; Rojas (1996) 5.2
	5.5	Selbstorganisierende Karten	Hertz et al. (1991) 9.4 S. 236-237; Rojas (1996) 15.2.1
	5.6	Anwendungen	Hertz et al. (1991) 9.4 S. 237-240; Rojas (1996) 15.4
		Übungen 5
2.12.1999	6	Radiale Basisfunktionen Netze	Bishop (1995) 5; Hertz et al. (1991) 9.7 S. 248-250; Rojas (1996) 16.2.3
	6.1	Einführung
	6.2	Nichtlineare Probleme linear lösbar machen
	6.3	Radiale Basisfunktionen
"	7	Verstärkungslernen	Kaelbling et al. (1996); Hertz et al. (1991) 7.4 S. 188
	7.1	Einführung
	7.2	Begriffe
	7.3	Lernverfahren
	7.4	Probleme und Variationen
	7.5	Anwendungen	Kaelbling et al. (1996) 8
		Übungen 6/7
9.12.1999	*	Einschub: Elementare Einführung in die Wahrscheinlichkeitsrechnung
"	8	Generalisierung	Bishop (1995) 6.1.3, 9; Hertz et al. (1991) 6.4, 6.5, 6.6; Rojas (1996) 6.3.4
	8.1	Einführung
	8.2	Interpretation der quadratischen Fehlerfunktion	Bishop (1995) 6.1.3
	8.3	Bias-Varianz Dilemma (formale Herleitung)	Bishop (1995) 9.1
		Übungen 8
16.12.1999	8.4	Kreuzvalidierung	Bishop (1995) 9.8.1
	8.5	Kontrolle der Netzwerkkomplexität	Bishop (1995) 9.2-9.5
"	9	Bayes'sche Theorie	Bishop (1995) 10
	9.1	Einführung
	9.2	A posteriori Wahrscheinlichkeitsverteilung der Modellparameter	Bishop (1995) 10.1
		Übungen 9 (nur bis einschließlich Aufgabe 9.2.2)
6.1.2000	9.3	Wahrscheinlichkeitsverteilung der Netzwerkausgabe	Bishop (1995) 10.2 S. 398-400
	9.4	Hyperparameter	Bishop (1995) 10.4
	9.5	Zusammenfassung	Bishop (1995) 10 S. 385
"	10	Zusammenfassung und Begriffsübersicht	Stanley et al. (1991) Anhang A
		Übungen 9 (Aufgaben 9.2.3 u. 9.2.4) Übungen 10
		RÜCKGEKOPPELTE NETZE
13.1.2000	11	Rückgekoppelte Netze: Eine Übersicht	Hertz et al. (1991) 2.2, 7
	11.1	Einführung	Hertz et al. (1991) 7.3 S. 176-177, 2.1
	11.2	Angepasste vorwärtsgekoppelte Netze	Hertz et al. (1991) 7.3 S.177-186
	11.3	Hopfield Netz	Hertz et al. (1991) 2.2 S. 13-17, S. 21-23
		Übungen 11
20.1.2000	11.4	Boltzmann Maschine	Hertz et al. (1991) 7.1 S. 163-169
	11.5	Zusammenfassung
"	12	Hopfield-Netz (diskret und rauschfrei)
	12.1	Trajektorien im Zustandsraum	Amit (1989) 2.2
	12.2	Frustrierte Systeme	Amit (1989) 2.3.6
		Übungen 12
27.1.2000	12.3	Falsche Muster	Hertz et al. (1991) 2.2 S. 24, Amit (1989) 2.3.3, 4.5
(20.1.2000)	12.4	Speicherkapazität	Hertz et al. (1991) 2.2 S. 17
	12.5	Pseudoinverse	Hertz et al. (1991) 3.2
	12.6	Zusammenfassung
		Übungen 12b
3.2.2000	13	Hippocampus (CA3) als Assoziativspeicher	Treves & Rolls (1994)
	13.1	Architektur des Hippocampus
	13.2	CA3-Region
	13.3	Gyrus dentatus
	13.4	CA1-Region
	13.5	Übertragung ins Langzeitgedächtnis
"	14	Hopfield-Netz (mit Rauschen)
	14.1	Stochastische Zelle	Hertz et al. (1991) 2.3 S.26-29, 2.4 S. 32-33; Amit (1989) 2.1.3
	14.2	Molekularfeld-Näherung	Hertz et al. (1991) 2.3 S. 29-30, 2.4 S. 33-35
		Übungen 12c
10.2.2000	14.3	Stabilität eines Musters für M<<N	Hertz et al. (1991) 2.3 S. 30-32, 2.4 S. 33-35
	14.4	Speicherkapazität	Hertz et al. (1991) 2.5 S. 35-39
	14.5	Phasendiagramm	Hertz et al. (1991) 2.5 S. 39-41
"	15	Stochastische Prozesse
	15.1	Zustandswahrscheinlichkeiten und Übergangsmatrix	Amit (1989) 3.1.1 S. 99
	15.2	Zeitentwicklung und Spektraldarstellung von W	Amit (1989) 3.1.1 S. 100-101
		Übungen 14/15
17.2.2000	15.3	Brechen der Ergodizität	Amit (1989) 3.1.2
	*	Sondervorlesung: Lernen von Invarianzen im visuellen System

Literatur

Einige der hier aufgeführten Bücher zur Theorie neuronaler Systeme stehen in der Zweigbibliothek Physik unter den Notationen ST 152 und ST 300 als Präsenzexemplare bereit.

Amit, D. J. (1989). Modeling Brain Function: The world of Attractor Neural Networks. Cambridge University Press. (systematische Entwicklung von Hopfield-Netzen aus der statistischen Physik heraus)
Bishop, C. M. (1995). Neural Networks for Pattern Recognition. Oxford University Press. (systematische Entwicklung vorwärtsgekoppelter Netze aus der Bayes'schen Theorie heraus)
Hertz, J., Krogh, A., and Palmer, R. G. (1991). Introduction to the Theory of Neural Computation. Addison-Wesley, Redwood City, CA. (ein gutes englisches Lehrbuch, besonders für Physiker)
Kaelbling, L. P., Littman, M. L., and Moore, A. W. (1996). Reinforcement learning: A survey. Journal of Artificial Intelligence Research, 4:237-285.
Kandel, E. R., Schwartz, J. H., and Jessel, T. M., editors (1995). Neurowissenschaften: Eine Einführung. Spektrum Akademischer Verlag, Heidelberg. (gute Einführung in die Neurobiologie)
Rojas, R. (1996). Theorie der neuronalen Netze: Eine systematische Einführung. Springer Verlag, Berlin. 4., korregierter Nachdruck. (ein gutes deutsches Lehrbuch, besonders für Informatiker)
Stanley, J. and Bak, E. (1991). Neuronale Netze: Computersimulation biologischer Intelligenz. Systhema Verlag, München. (populärwissenschaftliche Einführung)
Treves, A. and Rolls, E. T. (1994). Computational Analysis of the Role of the Hippocampus in Memory. Hippocampus, 4(3):374-391.

updated August 18, 2006
Laurenz Wiskott, http://www.neuroinformatik.ruhr-uni-bochum.de/PEOPLE/wiskott/