Seminar: Optimization of Deep Neural Networks (OptDNN)5 ECTS
(englische Bezeichnung: Seminar: Optimization of Deep Neural Networks)

Lehrveranstaltungen:

• • Seminar: Optimization of Deep Neural Networks
    (Seminar, 2 SWS, Matthias Ziegler et al., Zeit und Raum n.V.)

Inhalt:

Künstliche Intelligenz bereichert unseren Alltag auf vielfältige Weise. Sobald ein Data Scientist ein Modell vollständig trainiert hat, kann es in eine Anwendung integriert werden. Innerhalb einer solchen Anwendung werden die Eingabedaten in das neuronale Netz eingespeist und liefern am Ende der Verarbeitungskette ihre Ausgabe. Dieser Inferenzschritt kann entweder in der Cloud oder auf dem lokalen Endgerät (Edge Device) ausgeführt werden.
Insbesondere wenn das Modell häufig auf einem Edge Device ausgeführt werden soll, muss es zuvor optimiert werden. Solche Optimierungen können strukturiertes oder unstrukturiertes Pruning, Quantisierung und Komprimierung, Subspace Methods oder Compiler für neuronale Netze umfassen. Eine Änderung der Struktur oder des Zahlendarstellung (z. B. float oder integer) des Netzwerks wirkt sich in der Regel sowohl auf die Geschwindigkeit als auch auf die Genauigkeit aus.
Basierend auf ausgewählten Anwendungen aus den Bereichen Audioverarbeitung (z. B. Sprecherlokalisierung) und Computer Vision (z. B. Tiefenextraktion) optimiert jede Seminargruppe eine der ausgewählten Anwendungen mit Hilfe von obengenannten Methoden und Werkzeugen (z. B. Neuronal Network Distiller), bewertet den Leistungsgewinn und stellt die jeweiligen Methoden und Ergebnisse allen Teilnehmerinnen und Teilnehmern vor.

Artificial intelligence enriches our everyday life in many different ways. Once a data scientist has fully trained a model, it can be integrated into a complete application. Inside such an application, input data is feed to the neural network and provides its output at the end of the processing pipeline. This inference step can run either in the cloud or on the local edge device.
Especially if the model needs to be executed frequently on an edge device, it needs to be optimized beforehand. Such optimizations may include structured or unstructured pruning, quantization and compression, subspace methods or neural network compilers. Changing the structure or the computation mode of the network (i.e., float or integer) typically impacts performance as well as computational efficiency.
Based on selected applications from the domains audio processing (e.g., speaker localization) and computer vision (e.g., depth extraction), each group optimizes one of the selected applications using the methods above and tools (e.g., neural network distillers), evaluates the performance gain and presents the respective methods and results to all participants.

Lernziele und Kompetenzen:

Fachkompetenz

Verstehen

Die Studierenden tragen grundlegende Inhalte auf dem Gebiet Optimierung von Deep Neural Networks für Edge Devices vor. | The students present fundamental knowledge in the field of optimization of Deep Neural Networks for edge devices.

Analysieren

Die Studierenden erproben Optimierungsmethoden für neuronale Netze aus den Gebieten der Audioverarbeitung und Computer Vision. | The students try out optimization methods for neural networks from the fields of audio processing and computer vision.

Erschaffen

Die Studierenden optimieren und evaluieren eigenständig neuronale Netze für Edge Devices. | The students optimize and evaluate neural networks for edge devices autonomously.

Lern- bzw. Methodenkompetenz

• Die Studierenden arbeiten sich selbstständig in ein oder mehrere wissenschaftliche Veröffentlichungen ein und suchen hierbei selbstständig nach verwandten Arbeiten, um den Kontext der Veröffentlichung zu verstehen und aufzubereiten. | The students familiarize themselves with one or more scientific publications and independently search for related papers to understand and prepare the publication's context.

Selbstkompetenz

• Die Studierenden können eigene Stärken und Schwächen, sowohl im Bereich ihrer Präsentationstechniken als auch der Team-Arbeit, reflektieren und die eigene Entwicklung planen. | The students can reflect on their own strengths and weaknesses, both in presentation techniques and teamwork, and project their own advancement.

Sozialkompetenz

• Die Studierenden beteiligen sich aktiv an den Vorträgen der jeweils anderen Studierenden durch fachbezogene Fragen zum Thema wie auch Rückmeldungen zum Vortragsstil. | The students actively participate in the other students' talks by asking subject-related questions on the topic and giving feedback on the presentation style.
  

• Die Studierenden arbeiten in Gruppen kooperativ und verantwortlich, außerdem können sie das eigene Kooperationsverhalten in Gruppen kritisch reflektieren und erweitern. | Students work cooperatively and responsibly in groups and critically reflect and develop their cooperative behavior.

Studien-/Prüfungsleistungen:

Seminar Optimization of Deep Neural Networks (Prüfungsnummer: 495243)

(englischer Titel: Seminar Optimization of Deep Neural Networks)

Seminarleistung, benotet

weitere Erläuterungen:
Die Bewertung der Prüfungsleistung setzt sich zusammen aus 50% Seminarvortrag (25 min) und 50% schriftlicher Ausarbeitung / Implementierung. Die Ausarbeitung umfasst 12-15 Seiten (im Format von Springer LNCS). Alternativ kann eine Demonstration implementiert werden. In diesem Fall umfasst die Ausarbeitung lediglich 5-7 Seiten. Vortrag und Ausarbeitung können auf Englisch oder Deutsch erfolgen.

Prüfungssprache: Deutsch oder Englisch

Erstablegung: WS 2020/20211. Wdh.: keine Wiederholung, 2. Wdh.: keine Wiederholung

1. Prüfer:

Frank Hannig