Introduction to Pattern Recognition (IntroPR)5 ECTS
(englische Bezeichnung: Introduction to Pattern Recognition)

Lehrveranstaltungen:

• • Introduction to Pattern Recognition
    (Vorlesung, 3 SWS, Vincent Christlein et al., Di, 12:15 - 13:45, H4; Mi, 8:15 - 9:45, H4)
  • Introduction to Pattern Recognition Exercises
    (Übung, 1 SWS, Christian Bergler)

Empfohlene Voraussetzungen:

A pattern recognition system consists of the following steps: sensor data acquisition, pre-processing, feature extraction, and classification/machine learning. This course focuses mainly on the first three steps and is the basis of our master courses (Pattern Recognition and Pattern Analysis).

Ein Mustererkennungssystem besteht aus den folgenden Stufen: Aufnahme von Sensordaten, Vorverarbeitung, Merkmalsextraktion und maschinelle Klassifikation. Diese Vorlesung beschäftigt sich in erster Linie mit den ersten drei Stufen und schafft damit die Grundlage für weiterführende Lehrveranstaltungen im Master (Pattern Recognition und Pattern Analysis).

Inhalt:

The goal of this lecture is to familiarize the students with the overall pipeline of a pattern recognition system. The various steps involved from data capture to pattern classification are presented. The lectures start with a short introduction, where the nomenclature is defined. Analog-to-digital conversion is discussed with a focus on how it impacts further signal analysis. Commonly used preprocessing methods are then described. A key component of pattern recognition is feature extraction. Thus, several techniques for feature computation will be presented including Walsh transform, Haar transform, linear predictive coding (LPC), wavelets, moments, principal component analysis (PCA) and linear discriminant analysis (LDA). The lectures conclude with a basic introduction to classification. The principles of statistical, distribution-free and non-parametric classification approaches will be presented. Within this context we will cover Bayesian and Gaussian classifiers, as well as artificial neural networks.

Die Vorlesung hat zum Ziel, die Studierenden mit dem prinzipiellen Aufbau eines Mustererkennungssystems vertraut zu machen. Es werden die einzelnen Schritte von der Aufnahme der Daten bis hin zur Klassifikation von Mustern erläutert. Die Vorlesung beginnt dabei mit einer kurzen Einführung, bei der auch die verwendete Nomenklatur eingeführt wird. Die Analog-Digital-Wandlung wird vorgestellt, wobei der Schwerpunkt auf deren Auswirkungen auf die weitere Signalanalyse liegt. Im Anschluss werden gebräuchliche Methoden der Vorverarbeitung beschrieben. Ein wesentlicher Bestandteil eines Mustererkennungssystems ist die Merkmalsextraktion. Verschiedene Ansätze zur Merkmalsberechnung werden gezeigt, darunter die Walsh- und die Haar-Transformation, Linear Predictive Coding (LPC), Wavelets, Momente, Hauptkomponentenanalyse und Lineare Diskriminanzanalyse. Die Vorlesung schließt mit einer Einführung in die maschinelle Klassifikation. Die Grundlagen der statistischen, der verteilungsfreien und der nichtparametrischen Klassifikation werden erläutert. In diesem Kontext wird der Bayes- und der Gauss-Klassifikator sowie künstliche neuronale Netze besprochen.

Lernziele und Kompetenzen:

The students

• explain the general pipeline of a pattern recognition system

• understand sampling, the sampling theorem, and quantization

• apply methods to decompose signals into sine and cosine functions

• apply various vector quantization methods

• apply histogram equalization and histogram stretching

• compare different thresholding methods

• apply the principle of maximum likelihood estimation to Gaussian probability density functions

• understand linear shift-invariant filters and convolution

• apply various low- and high-pass filters, as well as non-linear filters (homomorphic transformations, cepstrum, morphological operations, rank operations)

• apply various normalization methods

• understand the curse of dimensionality

• explain various heuristic feature extraction methods, e.g. projection to orthogonal bases (Fourier transform, Walsh/Hadamard transform, Haar transform), Linear Predictive Coding, geometric moments, feature extraction via filtering, wavelets)

• understand analytic feature extraction methods, e.g. Principal Component Analysis, Linear Discriminant Analysis

• define the decision boundary between classes

• compare different objective functions for feature selection

• explain the principles of statistical classification (optimal classifier, cost functions, Bayes classifier)

• understand different classifiers (Gauss classifier, polynomial classifier, non-parametric classifiers such as k-nearest neighbor classifier, Parzen windows, neural networks) and compare them w.r.t. their decision boundaries, their computational complexity, etc.

• use the programming language Python to apply the presented pattern recognition techniques

• get to know practical applications and apply the presented algorithms to problems in practice

Die Studierenden

• erklären die Stufen eines allgemeinen Mustererkennungssystems

• verstehen Abtastung, das Abtasttheorem und Quantisierung

• wenden verschiedene Ansätze an, um ein Signal in seine Sinus- und Kosinusanteile zu zerlegen

• wenden verschiedene Methoden der Vektorquantisierung an

• verstehen und implementieren Histogrammequalisierung und -dehnung

• vergleichen verschiedene Schwellwertmethoden

• wenden das Prinzip der Maximum-Likelihood-Schätzung auf Gaußsche Wahrscheinlichkeitsdichtefunktionen an

• verstehen lineare, verschiebungsinvariante Filter und Faltung

• wenden verschiedene Tief- und Hochpassfilter sowie nichtlineare Filter (homomorphe Transformationen, Cepstrum, morphologische Operationen, Rangordnungsoperationen) an

• wenden verschiedene Normierungsmethoden an

• verstehen den Fluch der Dimensionalität

• erklären verschiedene heuristische Merkmalsberechnungsmethoden, z.B. Projektion auf einen orthogonalen Basisraum (Fourier-Transformation, Walsh/Hadamard-Transformation, Haar-Transformation), Linear Predictive Coding, geometrische Momente, Merkmale basierend auf Filterung, Wavelets)

• verstehen analytische Merkmalsberechnungsmethoden, z.B. Hauptkomponentenanalyse, Lineare Diskriminanzanalyse

• definieren die Entscheidungsgrenze zwischen Klassen

• vergleichen verschiedene Zielfunktionen zur Merkmalsauswahl

• erläutern die Grundlagen der statistischen Klassifikation (optimaler Klassifikator, Kostenfunktionen, Bayes-Klassifikator)

• erklären verschiedene Klassifikatoren (Gauss-Klassifikator, polynomieller Klassifikator, nichtparametrische klassifikatoren wie z.B. k-Nächster-Nachbar-Klassifikator, Parzen-Fenster, neuronale Netze) und vergleichen sie bezüglich ihrer Entscheidungsgrenze, ihrem Berechnungsaufwand, etc.

• benutzen die Programmiersprache Python, um die vorgestellten Verfahren der Mustererkennung anzuwenden

• lernen praktische Anwendungen kennen und wenden die vorgestellten Algorithmen auf konkrete Probleme an

Literatur:

• lecture slides

• Heinrich Niemann: Klassifikation von Mustern, 2. überarbeitete Auflage, 2003

• Sergios Theodoridis, Konstantinos Koutroumbas: Pattern Recognition, 4th edition, Academic Press, Burlington, 2009

• Richard O. Duda, Peter E. Hart, David G. Stock: Pattern Classification, 2nd edition, John Wiley & Sons, New York, 2001

Weitere Informationen:

Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan:
Das Modul ist im Kontext der folgenden Studienfächer/Vertiefungsrichtungen verwendbar:

1. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science)
   (Po-Vers. 2009 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science) | alte Prüfungsordnungen | Gesamtkonto | Technische Wahlmodule | Introduction to Pattern Recognition)
2. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science)
   (Po-Vers. 2010 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science) | Gesamtkonto | Technische Wahlmodule | Introduction to Pattern Recognition)
3. Digital Humanities (Master of Arts): 3. Semester
   (Po-Vers. 2019w | PhilFak | Digital Humanities (Master of Arts) | Gesamtkonto | Daten analysieren und verstehen | Introduction to Pattern Recognition)
4. Informatik (Bachelor of Science)
   (Po-Vers. 2009s | TechFak | Informatik (Bachelor of Science) | Wahlpflichtbereich (5. und 6. Semester) | Wahlpflichtmodule | Vertiefungsrichtung Mustererkennung | Introduction to Pattern Recognition)
5. Informatik (Bachelor of Science)
   (Po-Vers. 2009w | TechFak | Informatik (Bachelor of Science) | Wahlpflichtbereich (5. und 6. Semester) | Wahlpflichtmodule | Vertiefungsrichtung Mustererkennung | Introduction to Pattern Recognition)
6. Informations- und Kommunikationstechnik (Bachelor of Science)
   (Po-Vers. 2009 | TechFak | Informations- und Kommunikationstechnik (Bachelor of Science) | Wahlpflichtmodule, Wahlmodule, Seminar, Praktika, Bachelorarbeit | Wahlpflichtmodule aus Katalog für IuK | Introduction to Pattern Recognition)
7. Mathematik (Bachelor of Science)
   (Po-Vers. | NatFak | Mathematik (Bachelor of Science) | Module des Nebenfachs | Nebenfach Informatik | Vertiefungsmodule | Vertiefungsrichtung Mustererkennung | Introduction to Pattern Recognition)
8. Mathematik (Bachelor of Science)
   (Po-Vers. 2015w | NatFak | Mathematik (Bachelor of Science) | Module des Nebenfachs | Nebenfach Informations- und Kommunikationtechnik | Wahlpflichtmodule aus Katalog für IuK | Introduction to Pattern Recognition)
9. Mathematik (Bachelor of Science)
   (Po-Vers. 2019w | NatFak | Mathematik (Bachelor of Science) | Gesamtkonto | Module des Nebenfachs | Nebenfach Informatik | Vertiefungsmodule | Vertiefungsrichtung Mustererkennung | Introduction to Pattern Recognition)
10. Mathematik (Bachelor of Science)
    (Po-Vers. 2019w | NatFak | Mathematik (Bachelor of Science) | Gesamtkonto | Module des Nebenfachs | Nebenfach Informations- und Kommunikationtechnik | Wahlpflichtmodule aus Katalog für IuK | Introduction to Pattern Recognition)
11. Medizintechnik (Bachelor of Science)
    (Po-Vers. 2009 | TechFak | Medizintechnik (Bachelor of Science) | alte Prüfungsordnungen | Modulgruppen B5 und B8.1 - Kompetenzfeld Bildgebende Verfahren | Modulgruppe B8.1 - Vertiefungsmodule ET/INF | Introduction to Pattern Recognition)

Studien-/Prüfungsleistungen:

Introduction to Pattern Recognition (Prüfungsnummer: 902664)

Prüfungsleistung, mündliche Prüfung, Dauer (in Minuten): 30, benotet

Anteil an der Berechnung der Modulnote: 100.0 %

weitere Erläuterungen:
30-minütige mündliche Prüfung über den Stoff der Vorlesung und den Übungen

Erstablegung: WS 2019/2020, 1. Wdh.: SS 2020, 2. Wdh.: keine Wiederholung

1. Prüfer:

Andreas Maier

Termin: 22.03.2021, 14:00 Uhr, Ort: BASPH
Termin: 29.09.2021, 10:30 Uhr, Ort: H 7 TechF