To­pics in Pat­tern Re­co­gni­ti­on and Ma­chi­ne Lear­ning

In der Veranstaltung Aktuelle Themen aus Mustererkennung und maschinellem Lernen werden zunächst die Grundkonzepte der Mustererkennung und des maschinellen Lernens kurz zusammengefasst. Anschließend werden ausgewählte Themen behandelt. Die Auswahl orientiert sich dabei an aktuellen Forschungsthemen und variiert von Jahr zu Jahr. Beispiele für solche Themen sind

• Schätzung von Modellen mit verborgenen Variablen, um eine in den Daten vermutete zugrundeliegende innere Struktur zu entdecken
• Bias-Varianz Dilemma und Abtausch von Detailgenauigkeit der Modelle und Generalisierungsfähigkeit
• Grafische Modelle
• Sequentielle Daten und hidden Markov Modelle
• Spezielle Klassifikationsaufgaben (z.B. automatische Spracherkennung)

Während der erste Teil der Veranstaltung aus dem üblichen Vorlesungs-/Übungsschema besteht, werden die Studenten im zweiten Teil  aktuelle Veröffentlichungen lesen, analysieren und präsentieren. Dies kann häufig auch die Realisierung von Algorithmus in Matlab umfassen.

The course on Topics in Pattern Recognition and Machine Learning first briefly summarizes the main concepts of statistical pattern recognition and machine learning. Next selected topics will be presented in detail. The choice of topics depends on current research activities and thus may change over time. Examples of such topics to be studied in detail include

• Model estimation in the presence of hidden variables, in order to reveal suspected latent structure buried in the data
• Bias-Variance dilemma and the tradeoff between degree of detail and generalizability of models
• Grafical models
• Sequential data and hidden Markov models
• Specific classification tasks, such as automatic speech recognition

While the first part of the course will follow a regular lecture format, the second part will include active student participation. Students will be asked to read, analyze and present recently published papers from the pattern recognition and machine learning literature. This will often also include the implementation of proposed algorithms in Matlab.

• Grundlagen der statistischen Mustererkennung: Bayes’sche Regel, Lernen von Verteilungsdichten, lineare Modelle für Klassifikation und Regression, Kernelmethoden
• EM-Algorithmus für Maximum-Likelilhood und Bayes’sche Schätzung
• Modelle mit diskreten und kontinuierlichen verborgenen Variablen: GMM, NMF
• Bias-Varianz Dilemma und Modellwahl
• Grafische Modelle
• Hidden Markov Modelle mit Anwendungen in der Spracherkennung
• Aktuelle Veröffentlichungen aus Mustererkennung und maschinellem Lernen

• Fundamentals of statistical pattern recognition: Bayes rule, learning of class-conditional densities, linear models for classification and regression
• EM Algorithm and extensions thereof
• Models with discrete or continuous latent variables; GMM, NMF
• Bias-Variance dilemma and model selection
• Graphical models
• Hidden Markov models and their application in speech recognition
• Recent publications in pattern recognition and machine learning

Fachkompetenz / Domain competence:

Die Studierenden sind nach dem Besuch der Lehrveranstaltung in der Lage,

• Für ein vorgegebenes Mustererkennungsproblem einen geeigneten Klassifikator auszuwählen und zu trainieren
• Für ein gegebenes Regressionsproblem eine geeigneten Ansatz auswählen und die Parameter auf Trainingsdaten zu erlernen
• Nach in Daten verborgener Struktur mit Methoden des maschinellen Lernens zu suchen
• Eine geeignete Wahl für ein Modell treffen, welches einen guten Kompromiss zwischen Detailgrad und Verallgemeinerungsfähigkeit darstellt
• Aktuelle Veröffentlichungen aus dem Bereich der Mustererkennung und des maschinellen Lernens zu verstehen, zu analysieren und zu bewerten

After completion of the course students will be able to 

• Choose an appropriate classifier for a given classification problem and be able to learn the parameters of the classifier from training data
• Choose an appropriate regression method for function approximation and learn its parameters from training data
• Search for latent variables and structure in given data
• Make an informative choice for the model order to find a good compromise between degree of detail and generalizabliliy
• Comprehend and analyze recent publications from the field of pattern recognition and machine learning

Fachübergreifende Kompetenzen / Key qualifications:

Die Studierenden

• Haben ein Verständnis für die Bedeutung der Wahl der Modellordnung auf die Güte der Klassifikation und Regression
• Haben ein Verständnis dafür, dass man bei der Suche nach verborgenen Variablen von a priori Annahmen ausgeht, die das Ergebnis stark beeinflussen können
• Sind in der Lage, sich eigenständig in den Stand der Forschung in Teilgebieten der Mustererkennung und maschinellen Lernens durch Literaturrecherche und –studium einzuarbeiten
• Können Veröffentlichungen aus diesem Bereich in einen größeren Kontext einordnen
• Können die in diesem Kurse gewonnenen Kenntnisse und Fertigkeiten auf andere Disziplinen übertragen

The students

• Have gathered an understanding of the importance of the chosen model order on the outcome of classification and regression tasks

• Are aware of the impact of a priori assumptions on the result of latent variable and structure discovery in data
• Are able to autonomously gain expertise in a certain field of pattern recognition by conducting a literature survey
• Can gauge the importance of a given publication for the state of the art in a field

• Are able to apply the knowledge and skills learnt in this course to a wide range of disciplines

• Vorlesungen mit überwiegendem Tafeleinsatz, vereinzelt Folien-Präsentation

• Präsenzübungen mit Übungsblättern und Demonstrationen am Rechner
• Anleitung, wie aktuelle wissenschaftliche Veröffentlichungen zu analysieren sind und anschließend eigenständige Einarbeitung in Fachliteratur durch die Studierenden
• Präsentation von aktuellen Veröffentlichungen durch die Studierenden

• Lectures predominantly using the blackboard or overhead projector, occasional presentations of (powerpoint) slides ,
• Exercise classes with exercise sheets and demonstrations on computer

• Instructions how to read and analyze scientific publications in this field

Autonomous analysis of publications and presentation of results and gained insight

Vorkenntnisse aus der Lehrveranstaltung Verarbeitung statistischer Signale. Wünschenswert, aber nicht notwendig sind Kenntnisse aus der Vorlesung Statistische Lernverfahren und Mustererkennung

Elementary knowledge in Probability Theory, as is taught in the course Statistical Signal Processing. Desirable, but not mandatory: knowledge in the field of statistical learning and pattern recognition

Keine / None

Mündliche Prüfung / oral exam

Deutsch oder Englisch / German or English

• R.O. Duda, P.E. Hart, D.G.~ Stork,  Pattern   Classification, Wiley, 2001
• K. Fukunaga, Introduction to Statistical Pattern Recognition, Academic Press, 1990
• C. M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006