Künstliche neuronale NetzeDr. Laurenz Wiskott |
Künstliche Neuronale Netzen sind von natürlichen neuronalen Systemen inspirierte Modelle zur Informationsverarbeitung. Einerseits tragen sie zu einem besseren Verständnis von Selbstorganisationsprozessen im Gehirn bei. Andererseits sind sie wegen ihrer Lernfähigkeit, Robustheit und Parallelität für technische Anwendungen interessant.
In dieser Vorlesung werden vorwärts- und rückgekoppelte neuronale Netze behandelt, es wird auf überwachtes und unüberwachtes Lernen eingegangen und es werden einige weitere verwandte Methoden zur Datenanalyse vorgestellt. Als Anwendungen werden assoziative Speicherung, Klassifikation, Regression und Kodierung im Vordergrund stehen. Der Bezug zur Biologie wird nur am Rande diskutiert.
Diese Vorlesung richtet sich in erster Linie an Studierende im Diplomstudiengang Physik, kann aber auch für Biologie- und Biophysikstudenten mit Interesse an technischen Anwendungen interessant sein. Physikstudenten können die Vorlesung für das Wahlpflichtfach Statistische Physik / Nichtlineare Dynamik (wahlfrei) wählen.
Zur Vorlesung werden Übungen angeboten.
15.10.2002 | 1 | Einführung und Motivation | |
1.1 | Präliminarien | ||
1.2 | Motivation | ||
1.3 | Zahlenvergleich Gehirn versus Rechner | ||
1.4 | Physiologische Neuronen | Kandel et al. (1995) I.2 | |
1.5 | Künstliche Neuronen | Hertz et al. (1991) 1.1 | |
1.6 | Vorwärtsgekoppelte Netze | ||
1.7 | Rückgekoppelte Netze | ||
Übungen 1 | |||
VORWÄRTSGEKOPPELTE NETZE (überwachtes Lernen) | |||
2 | Perzeptron | Rojas (1996) 3, 4; Hertz et al. (1991) 5 | |
2.1 | Geometrische Interpretation und lineare Trennbarkeit | Rojas (1996) 3.2, 3.3; Hertz et al. (1991) 5.1, 5.2 S. 92-97 | |
22.10.2002 | 2.2 | Lernregel für Schwellenwert-Neurone (Klassifikation) | Rojas (1996) 4.2.1, 4.2.3, 4.3; Hertz et al. (1991) 5.2 S. 97-100, 5.3 |
2.3 | Lernregel für lineare Zellen (lineare Regression, Energiefunktion) | Hertz et al. (1991) 5.4; Rojas (1996) 8.1.2 | |
Übungen 2 | |||
29.10.2002 | 2.4 | Fisher Diskriminanten | Bishop (1995) 3.6.1 |
2.5 | Nichtlineare Erweiterung des Eingaberaums | Bishop (1995) 4.5 | |
2.6 | Grenzen des Perzeptrons | Bishop (1995) 3.5.4 | |
Übungen 3 | |||
5.11.2002 | 3 | Mehrschichtige Netze | Rojas (1996) 6, 7; Hertz et al. (1991) 6 |
3.1 | Einführung | Rojas (1996) 7.1.1, 7.4; Hertz et al. (1991) 6.1 S. 115 | |
3.2 | Visualisierung der Funktionsweise mit Sigmoid-Zellen | Bishop (1995) 4.3.1; Rojas (1996) 7.1, 8.2, 8.3 | |
3.3 | Fehlerrückführung | Bishop (1995) 4.8; Rojas (1996) 6; Hertz et al. (1991) 6.1 | |
3.4 | Anwendungen | Hertz et al. (1991) 6.3; Rojas (1996) 8.5; Stanley et al. (1991) 6 | |
Übungen 4 | |||
12.11.2002 | * | Einschub: Elementare Einführung in die Wahrscheinlichkeitsrechnung | |
4 | Generalisierung | Bishop (1995) 6.1.3, 9; Hertz et al. (1991) 6.4, 6.5, 6.6; Rojas (1996) 6.3.4 | |
4.1 | Einführung | ||
4.2 | Interpretation der quadratischen Fehlerfunktion | Bishop (1995) 6.1.3 | |
4.3 | Bias-Varianz Dilemma (formale Herleitung) | Bishop (1995) 9.1 | |
Übungen 5 | |||
19.11.2002 | 4.4 | Kreuzvalidierung | Bishop (1995) 9.8.1 |
4.5 | Kontrolle der Netzwerkkomplexität | Bishop (1995) 9.2-9.5 | |
Übungen 6 | |||
26.11.2002 | 5 | Bayes'sche Theorie | Bishop (1995) 10 |
5.1 | Einführung | ||
5.2 | A posteriori Wahrscheinlichkeitsverteilung der Gewichte | Bishop (1995) 10.1 | |
5.3 | A priori Wahrscheinlichkeitsverteilung der Gewichte | Bishop (1995) 10.1 | |
5.4 | Bedingte Wahrscheinlichkeitsverteilung der Daten | Bishop (1995) 10.1 | |
5.5 | A posteriori Wahrscheinlichkeitsverteilung der Gewichte II | Bishop (1995) 10.1 | |
Übungen 7 | |||
3.12.2002 | 5.6 | Wahrscheinlichkeitsverteilung der Netzwerkausgabe | Bishop (1995) 10.2 S. 398-400 |
5.7 | Hyperparameter | Bishop (1995) 10.4 | |
5.8 | Zusammenfassung | Bishop (1995) 10 S. 385 | |
Übungen 8 | |||
10.12.2002 | * | Support Vector Machines (Vorlesung von Tobias Blaschke) | |
VORWÄRTSGEKOPPELTE NETZE (unüberwachtes Lernen) | |||
(3.12.2002) | 6 | Unüberwachtes hebbsches Lernen | Hertz et al. (1991) 8; Rojas (1996) 5.3; Bishop (1995) 8.6, E |
6.1 | Einführung | Hertz et al. (1991) 8.1; Rojas (1996) 5.1.1 | |
6.2 | Hebbsches Lernen | Hertz et al. (1991) 8.2 S. 199-201; Rojas (1996) 5.3.1 S. 113-114; Bishop (1995) 8.6.3 | |
6.3 | Normierung der Gewichtsvektoren | Hertz et al. (1991) 8.2 S. 201-202; Rojas (1996) 5.3.1 S. 115-116; Bishop (1995) 8.6.3 | |
Übungen 9 | |||
17.12.2002 | 6.4 | Lineare Stabilitätsanalyse | Hertz et al. (1991) 8.2 S. 202-204; Rojas (1996) 5.3.1 S. 115-116; Bishop (1995) 8.6.3 |
6.5 | Hauptkomponentenanalyse | Hertz et al. (1991) 8.3 S. 204-206; Bishop (1995) 8.6 S. 310-313; Rojas (1996) 5.3.1 S. 113-114, 5.3.3 | |
6.6 | Weißen | ||
Übungen 10 | |||
7.1.2003 | 7 | Unabhängige Komponenten-Analyse (ICA) | |
7.1 | Einführung | ||
7.2 | Erzeugendes Modell | ||
7.3 | Momente und Kumulanten | ||
Übungen 11 | |||
14.1.2003 | 7.4 | Givens Rotation | |
7.5 | Kontrastfunktion | ||
7.6 | ICA-Algorithmus | ||
7.7 | Anwendungen | ||
Übungen 12 | |||
21.1.2003 | 8 | Vektorquantisierung | Hertz et al. (1991) 9; Rojas (1996) 5.1, 5.2 |
8.1 | Einführung | Hertz et al. (1991) 9 S. 217-218; Rojas (1996) 5.2.5 S. 112-113 | |
8.2 | Aufteilung des Eingaberaums | Hertz et al. (1991) 9.1 S. 220, 9.2 S. 225; Rojas (1996) 5.2.5 S. 112-113 | |
8.3 | Lernverfahren | Hertz et al. (1991) 9.1 S. 218-220; Rojas (1996) 5.1.3 | |
8.4 | Energiefunktion und Konvergenz | Hertz et al. (1991) 9.1 S. 221-223; Rojas (1996) 5.2 | |
8.5 | Selbstorganisierende Karten | Hertz et al. (1991) 9.4 S. 236-237; Rojas (1996) 15.2.1 | |
8.6 | Anwendungen | Hertz et al. (1991) 9.4 S. 237-240; Rojas (1996) 15.4 | |
Übungen 13 | |||
28.1.2003 | 9 | Radiale Basisfunktionen Netze | Bishop (1995) 5; Hertz et al. (1991) 9.7 S. 248-250; Rojas (1996) 16.2.3 |
" | 10 | Verstärkungslernen | Kaelbling et al. (1996); Hertz et al. (1991) 8.4 S. 188 |
10.1 | Einführung | ||
10.2 | Begriffe | ||
10.3 | Lernverfahren | ||
10.4 | Probleme und Variationen | ||
10.5 | Anwendungen | Kaelbling et al. (1996) 8 | |
RÜCKGEKOPPELTE NETZE | |||
4.2.2003 | 11 | Rückgekoppelte Netze: Eine Übersicht | Hertz et al. (1991) 2.2, 7 |
11.1 | Einführung | Hertz et al. (1991) 7.3 S. 176-177, 2.1 | |
11.2 | Angepasste vorwärtsgekoppelte Netze | Hertz et al. (1991) 7.3 S.177-184 | |
11.2 | Lernen im rückgekoppelten Netz | Hertz et al. (1991) 7.3 S.184-186 | |
11.3 | Hopfield Netz | Hertz et al. (1991) 2.2 S. 13-17, S. 21-23 | |
11.4 | Boltzmann Maschine | Hertz et al. (1991) 7.1 S. 163-169 | |
11.5 | Zusammenfassung | ||
11.2.2003 | 12 | Hopfield-Netz (diskret und rauschfrei) | |
12.1 | Trajektorien im Zustandsraum | Amit (1989) 2.2 | |
12.2 | Frustrierte Systeme | Amit (1989) 2.3.6 | |
12.3 | Energiefunktion | ||
12.4 | Falsche Muster | Hertz et al. (1991) 2.2 S. 24, Amit (1989) 2.3.3, 4.5 | |
12.5 | Zusammenfassung | ||
Einige der hier aufgeführten Bücher zur Theorie neuronaler Systeme stehen in der Zweigbibliothek Physik unter den Notationen ST 152 und ST 300 als Präsenzexemplare bereit.