Introduction to Pattern Recognition Deluxe (IntroPR)7.5 ECTS
(englische Bezeichnung: Introduction to Pattern Recognition Deluxe)
(Prüfungsordnungsmodul: Introduction to Pattern Recognition)

Lehrveranstaltungen:

• • Introduction to Pattern Recognition
    (Vorlesung, 3 SWS, Stefan Steidl, Di, 12:15 - 13:45, 0.68; Mi, 13:00 - 13:45, 0.68)
  • Introduction to Pattern Recognition Exercises
    (Übung, 1 SWS, Daniel Stromer)
  • Introduction to Pattern Recognition Programming
    (Praktikum, 2 SWS, Daniel Stromer)

Empfohlene Voraussetzungen:

A pattern recognition system consists of the following steps: sensor data acquisition, pre-processing, feature extraction, and classification/machine learning. This course focuses mainly on the first three steps and is the basis of our master courses (Pattern Recognition and Pattern Analysis).

Ein Mustererkennungssystem besteht aus den folgenden Stufen: Aufnahme von Sensordaten, Vorverarbeitung, Merkmalsextraktion und maschinelle Klassifikation. Diese Vorlesung beschäftigt sich in erster Linie mit den ersten drei Stufen und schafft damit die Grundlage für weiterführende Lehrveranstaltungen im Master (Pattern Recognition und Pattern Analysis).

Inhalt:

The goal of this lecture is to familiarize the students with the overall pipeline of a pattern recognition system. The various steps involved from data capture to pattern classification are presented. The lectures start with a short introduction, where the nomenclature is defined. Analog-to-digital conversion is discussed with a focus on how it impacts further signal analysis. Commonly used preprocessing methods are then described. A key component of pattern recognition is feature extraction. Thus, several techniques for feature computation will be presented including Walsh transform, Haar transform, linear predictive coding (LPC), wavelets, moments, principal component analysis (PCA) and linear discriminant analysis (LDA). The lectures conclude with a basic introduction to classification. The principles of statistical, distribution-free and non-parametric classification approaches will be presented. Within this context we will cover Bayesian and Gaussian classifiers, as well as artificial neural networks. The accompanying exercises will provide further details on the methods and procedures presented in this lecture with particular emphasis on their application.

Die Vorlesung hat zum Ziel, die Studierenden mit dem prinzipiellen Aufbau eines Mustererkennungssystems vertraut zu machen. Es werden die einzelnen Schritte von der Aufnahme der Daten bis hin zur Klassifikation von Mustern erläutert. Die Vorlesung beginnt dabei mit einer kurzen Einführung, bei der auch die verwendete Nomenklatur eingeführt wird. Die Analog-Digital-Wandlung wird vorgestellt, wobei der Schwerpunkt auf deren Auswirkungen auf die weitere Signalanalyse liegt. Im Anschluss werden gebräuchliche Methoden der Vorverarbeitung beschrieben. Ein wesentlicher Bestandteil eines Mustererkennungssystems ist die Merkmalsextraktion. Verschiedene Ansätze zur Merkmalsberechnung werden gezeigt, darunter die Walsh- und die Haar-Transformation, Linear Predictive Coding (LPC), Wavelets, Momente, Hauptkomponentenanalyse und Lineare Diskriminanzanalyse. Die Vorlesung schließt mit einer Einführung in die maschinelle Klassifikation. Die Grundlagen der statistischen, der verteilungsfreien und der nichtparametrischen Klassifikation werden erläutert. In diesem Kontext wird der Bayes- und der Gauss-Klassifikator sowie künstliche neuronale Netze besprochen. Die begleitenden Übungen vertiefen die in der Vorlesung vorgestellten Methoden und Verfahren und verdeutlichen deren praktische Anwendung.

Lernziele und Kompetenzen:

The students

• explain the general pipeline of a pattern recognition system

• understand sampling, the sampling theorem, and quantization

• apply methods to decompose signals into sine and cosine functions

• apply various vector quantization methods

• apply histogram equalization and histogram stretching

• compare different thresholding methods

• apply the principle of maximum likelihood estimation to Gaussian probability density functions

• understand linear shift-invariant filters and convolution

• apply various low- and high-pass filters, as well as non-linear filters (homomorphic transformations, cepstrum, morphological operations, rank operations)

• apply various normalization methods

• understand the curse of dimensionality

• explain various heuristic feature extraction methods, e.g. projection to orthogonal bases (Fourier transform, Walsh/Hadamard transform, Haar transform), Linear Predictive Coding, geometric moments, feature extraction via filtering, wavelets)

• understand analytic feature extraction methods, e.g. Principal Component Analysis, Linear Discriminant Analysis

• define the decision boundary between classes

• compare different objective functions for feature selection

• explain the principles of statistical classification (optimal classifier, cost functions, Bayes classifier)

• understand different classifiers (Gauss classifier, polynomial classifier, non-parametric classifiers such as k-nearest neighbor classifier, Parzen windows, neural networks) and compare them w.r.t. their decision boundaries, their computational complexity, etc.

• use the programming language Python to apply the presented pattern recognition techniques

• implement selected algorithms in the programming language Python on their own

• get to know practical applications and apply the presented algorithms to problems in practice

Die Studierenden

• erklären die Stufen eines allgemeinen Mustererkennungssystems

• verstehen Abtastung, das Abtasttheorem und Quantisierung

• wenden verschiedene Ansätze an, um ein Signal in seine Sinus- und Kosinusanteile zu zerlegen

• wenden verschiedene Methoden der Vektorquantisierung an

• verstehen und implementieren Histogrammequalisierung und -dehnung

• vergleichen verschiedene Schwellwertmethoden

• wenden das Prinzip der Maximum-Likelihood-Schätzung auf Gaußsche Wahrscheinlichkeitsdichtefunktionen an

• verstehen lineare, verschiebungsinvariante Filter und Faltung

• wenden verschiedene Tief- und Hochpassfilter sowie nichtlineare Filter (homomorphe Transformationen, Cepstrum, morphologische Operationen, Rangordnungsoperationen) an

• wenden verschiedene Normierungsmethoden an

• verstehen den Fluch der Dimensionalität

• erklären verschiedene heuristische Merkmalsberechnungsmethoden, z.B. Projektion auf einen orthogonalen Basisraum (Fourier-Transformation, Walsh/Hadamard-Transformation, Haar-Transformation), Linear Predictive Coding, geometrische Momente, Merkmale basierend auf Filterung, Wavelets)

• verstehen analytische Merkmalsberechnungsmethoden, z.B. Hauptkomponentenanalyse, Lineare Diskriminanzanalyse

• definieren die Entscheidungsgrenze zwischen Klassen

• vergleichen verschiedene Zielfunktionen zur Merkmalsauswahl

• erläutern die Grundlagen der statistischen Klassifikation (optimaler Klassifikator, Kostenfunktionen, Bayes-Klassifikator)

• erklären verschiedene Klassifikatoren (Gauss-Klassifikator, polynomieller Klassifikator, nichtparametrische klassifikatoren wie z.B. k-Nächster-Nachbar-Klassifikator, Parzen-Fenster, neuronale Netze) und vergleichen sie bezüglich ihrer Entscheidungsgrenze, ihrem Berechnungsaufwand, etc.

• benutzen die Programmiersprache Python, um die vorgestellten Verfahren der Mustererkennung anzuwenden

• implementieren selbst ausgewählte Algorithmen in der Programmiersprache Python

• lernen praktische Anwendungen kennen und wenden die vorgestellten Algorithmen auf konkrete Probleme an
  

Literatur:

• lecture slides

• Heinrich Niemann: Klassifikation von Mustern, 2. überarbeitete Auflage, 2003

• Sergios Theodoridis, Konstantinos Koutroumbas: Pattern Recognition, 4th edition, Academic Press, Burlington, 2009

• Richard O. Duda, Peter E. Hart, David G. Stock: Pattern Classification, 2nd edition, John Wiley & Sons, New York, 2001

Weitere Informationen:

Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan:

1. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science)
   (Po-Vers. 2010 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science) | Bachelorprüfung | Technische Wahlmodule | Introduction to Pattern Recognition)

Studien-/Prüfungsleistungen:

Introduction to Pattern Recognition Deluxe (Prüfungsnummer: 32811)

(englischer Titel: Introduction to Pattern Recognition Deluxe)

Prüfungsleistung, mündliche Prüfung, Dauer (in Minuten): 30, benotet

Anteil an der Berechnung der Modulnote: 100.0 %

weitere Erläuterungen:
30-minütige mündliche Prüfung über den Stoff der Vorlesung und der Übungen. Voraussetzung ist die erfolgreiche Bearbeitung der Programmieraufgaben.
30 minute oral exam about the lecture and the exercises. It is required to successfully complete the programming tasks.

Erstablegung: WS 2017/2018, 1. Wdh.: SS 2018, 2. Wdh.: keine Wiederholung

1. Prüfer:

Stefan Steidl