Sta­ti­sti­cal and ma­chi­ne lear­ning

Die Veranstaltung Statistische Lernverfahren und Mustererkennung vermittelt einen Einblick in die Komponenten und Algorithmen von statischen Mustererkennungssystemen. Es werden parametrische und nichtparametrische Ansätze vorgestellt, wie Charakteristika aus Daten entweder überwacht oder unüberwacht gelernt werden können und wie unbekannte Muster erkannt werden. Die vorgestellten Techniken können auf vielfältige Mustererkennungsprobleme angewendet werden, sei es für eindimensionale Signale (z.B. Sprache), zweidimensionale (z.B. Bilder) oder symbolische Daten (z.B. Texte, Dokumente).

The course on Statistical Learning and Pattern Recognition presents an introduction into the components and algorithms prevalent in statistical pattern recognition. Both parametric and non-parametric density estimation and classification techniques will be presented, as well as supervised and unsupervised learning paradigms. The presented techniques can be applied to a variety of classification problems, both for one-dimensional input data (e.g., speech), two-dimensional (e.g., image) or symbolic input data (e.g., documents).

• Bayes’sche und andere Entscheidungsregeln
• Überwachte Lernverfahren: Parametrische (Maximum Likelihood, Bayes’sches Lernen) und nichtparametrische Verfahren (Parzen-Fenstermethode)
• Lineare Dimensionsreduktion (PCA, LDA)
• Lineare Klassifikatoren, Support Vector Machines
• Neuronale Netze (Multilayer Perceptron)
• Unüberwachte Lernverfahren (Mischungsverteilungen, Clusterverfahren)
• Allgemeine Überlegungen (Bias-Varianz Dilemma, Minium Description Length Prinzip, etc.)
   

• Bayesian and other decision rules
• Supervised learning: parametric (Maximum Likelihood, Bayesian Learning) and non-parametric (Parzen window method)
• Dimensionality reduction (PCA, LDA)
• Linear classifiers, Support Vector Machines
• Neural networks (Multilayer Perceptron)
• Unsupervised learning (mixture densities, clustering techniques)
• General considerations (Bias-Variance dilemma, minimum description length principle etc.)

Fachkompetenz / Domain competence:

Die Studierenden sind nach dem Besuch der Lehrveranstaltung in der Lage,

•  Für ein vorgegebenes Mustererkennungsproblem eine geeignete Entscheidungsregel auszuwählen
• Methoden des überwachten und unüberwachten Lernens auf neue Problemstellungen anzuwenden und die Ergebnisse des Lernens kritisch zu bewerten
• Parametrische und nichtparametrische Dichteschätzverfahren für unterschiedlichste Eingangsdaten zu entwickeln
• Können Programmbibliotheken zur Realisierung von Klassifikatoren (z.B. neuronale Netze, Support Vector Machines) sinnvoll anwenden
• Für eine vorgegebene Trainingsdatenmenge einen sinnvolle Wahl für die Dimension des Merkmalsvektors und die Komplexität des Klassifikators zu treffen.

After completion of the course students will be able to

• Choose an appropriate decision rule for a given classification problem
• Apply supervised or unsupervised learning techniques to data of various kinds and critically assess the outcome of the learning algorithms
• Work with dedicated pattern classification software (e.g., for artificial neural networks, support vector machines) on given data sets and optimize parameter settings
• Find, for a given training set size, an appropriate choice of classifier complexity und feature vector dimensionality 

Fachübergreifende Kompetenzen / Key qualifications:

Die Studierenden

• Haben weitreichende Fertigkeiten in Matlab erworben, die sie auch außerhalb der Realisierung von Klassifikationsverfahren einsetzen können
• Haben ein Verständnis für das Prinzip der Parsimomität und können es auf andere Fragestellungen übertragen
• Können die in diesem Kurse gewonnenen Kenntnisse und Fertigkeiten auf andere Disziplinen übertragen
• Können in einer Gruppe umfangreichere Aufgabenstellungen gemeinsam analysieren, in Teilaufgaben zerlegen und lösungsorientiert bearbeiten 

The students

• Have gathered sufficient proficiency in Matlab, well beyond what is needed to realize pattern classification techniques
• Can assess the importance of the principle of parsimony and are able to transfer it to other
• Are able to apply the knowledge and skills learnt in this course to a wide range of disciplines
• Can work cooperatively in a team and subdivide an overall task into manageable subtasks and work packages

• Vorlesungen mit überwiegendem Tafeleinsatz, vereinzelt Folien-Präsentation
•  Präsenzübungen mit Übungsblättern und Demonstrationen am Rechner
• Praktische Übungen mit Matlab, in denen Studierende eigenständig Trainings- und Testdaten generieren, Lösungswege erarbeiten und Lernverfahren oder Klassifikatoren implementieren, testen, sowie Ergebnisse auswerten

• Lectures predominantly using the blackboard or overhead projector, occasional presentations of (powerpoint) slides ,
• Exercise classes with exercise sheets and demonstrations on computer and
• Implementation of learning and classification algorithms on a computer by the students themselves; use of algorithms on real-world data or data generated on the computer, evaluation of the simulation results

Vorkenntnisse aus der LehrveranstaltungVerarbeitung statistischer Signale
Elementary knowledge in Statistics, as is taught in the course Statistical Signal Processing

Keine / None

schriftliche oder mündliche Prüfung nach vorheriger Ankündigung
written or oral exam according to given announcement

Englisch / English

Bereitstellung eines ausführlichen Skripts und stichwortartiger Zusammenfassungsfolien für jede Vorlesung. Lösungen der Übungsaufgaben und Beispielimplementierungen von Algorithmen werden zur Verfügung gestellt.

Course script and summary slides are provided to the students. Exercises and solutions to exercises, as well as sample implementations of algorithms are provided to the students

•  R.O. Duda, P.E. Hart, D.G.~ Stork, Pattern  Classification, Wiley, 2001
• K. Fukunaga, Introduction to Statistical Pattern Recognition, Academic Press, 1990