|
Informationstheorie (IT)5 ECTS (englische Bezeichnung: Information Theory)
Modulverantwortliche/r: Johannes Huber Lehrende:
Johannes Huber
Startsemester: |
SS 2014 | Dauer: |
1 Semester | Turnus: |
jährlich (SS) |
Präsenzzeit: |
60 Std. | Eigenstudium: |
90 Std. | Sprache: |
Deutsch |
Lehrveranstaltungen:
-
-
Informationstheorie
(Vorlesung, 3 SWS, Johannes Huber, Mi, 12:15 - 13:45, H15; jede 2. Woche Fr, 8:15 - 9:45, H15)
-
Übungen zur Informationstheorie
(Übung, 1 SWS, Christoph Rachinger, jede 2. Woche Fr, 8:15 - 9:45, H15; ab 18.4.2014)
Inhalt:
- Grundlegende Definitionen
Codierung für diskrete Informationsquellen
Informationstheoretische Beschreibung von Übertragungskanälen
Informationstheoretische Grundlagen der zuverlässigen Informationsübertragung über gestörte Kanäle durch Blockcodierung
Kontinuierlich verteilte Zufallsvariablen
Farbiges Rauschen - Signalverzerrungen
Mehrbenutzerkommunikation
Lernziele und Kompetenzen:
Die Studierenden erklären das grundlegende Blockschaltbild für die digitale Nachrichtenübertragung. Bei der informationstheoretischen Modellierung und Analyse der Nachrichtenübertragung verwenden sie diskrete gedächtnislose Informationsquellen, gekoppelte Informationsquellen, das Informationsmaß nach Shannon für diskrete Quellen und das Data Processing Theorem. Sie ermitteln den mittleren Informationsgehalt und bestimmen die relative Entropie. Sie erläutern das Informationsmaß nach Hartley für diskrete Quellen und die Problematik diskreter gedächtnisbehafteter Quellen. Die Studierenden erklären das Quellencodierungstheorem und analysieren verschiedene Quellencodierverfahren, u.a., mit Codewörtern variabler Länge (variable length code, z.B. Huffmann-Code), Blockcodierung für diskrete gedächtnislose Quellen mit Quellenwörtern variabler Länge (Tunstall-Code, Lempel-Ziv) und Blockcodierung für Quellenwörter mit fester Länge. Die Studierenden bestimmen und analysieren die informationstheoretischen Größen von Übertragungskanälen, insbesondere die Kanalkapazität. Sie untersuchen symmetrische diskrete gedächtnislose Kanäle. Die Studierenden erläutern die informationstheoretischen Grundlagen der zuverlässigen Informationsübertragung über gestörte Kanäle durch Blockcodierung. Dabei beschreiben und analysieren Sie Blockcodes und deren (optimale) Decodierung (Maximum-a-posteriori- und Maximum-Likelihood- Decodierung) und analysieren die Umkehrung des Kanalcodierungstheorems. Sie schätzen die Wortfehlerwahrscheinlichkeit bei ML-Decodierung nach Bhattacharyya und die Fehlerwahrscheinlichkeit nach Gallager ab. Sie erklären die heuristische Ableitung des Kanalcodierungstheorems basierend auf typischen Sequenzen. Die Studierenden analysieren die informationstheoretischen Größen in Szenarien mit kontinuierlich verteilten Zufallsvariablen. Dabei untersuchen sie den gedächtnislosen Kanal mit diskreter Eingangs- und kontinuierlicher reeller Ausgangsvariable sowie den gedächtnislosen Kanal mit kontinuierlichen reellen Ein- und Ausgangsvariablen. Sie bestimmen und analysieren die differentielle Entropie und untersuchen die Kapazität des
AWGN-Kanals. Die Studierenden analysieren die Auswirkungen von farbigem Rauschen und Signalverzerrungen auf die Kanalkapazität. Die Studierenden erläutern die informationstheoretischen Grundlagen der Mehrbenutzerkommunikation. Insbesondere analysieren sie die relevanten Größen von Multiple Access Channel (MAC) und Broadcast Channel (BC). Als mathematische Hilfsmitteln nutzen die Studierenden die
Tschebyscheff'sche Ungleichungen, das schwache Gesetz der großen Zahlen, Eigenschaften von konvexen Funktionen (dabei insbesondere die Jensen’sche Ungleichung), die Optimierung mit Berücksichtigung von Nebenbedingungen (Lagrange’sche Optimierung). Sie analysieren die Bedingungen zur Maximierung der Summenkapazität paralleler Kanäle und erklären die Water-Filling-Regel.
Literatur:
- Huber, J.: Lecture manuscript;
Gallager, R. G.: Information Theory and Reliable Communication, John Wiley & Sons 1968;
Cover T., Thomas J.: Elements of Information Theory, John Wiley and Sons, New York, 1991
Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan: Das Modul ist im Kontext der folgenden Studienfächer/Vertiefungsrichtungen verwendbar:
- Berufspädagogik Technik (Master of Education)
(Po-Vers. 2010 | Masterprüfung | Wahlpflichtmodule Fachwissenschaft | Informationstheorie)
- Communications and Multimedia Engineering (Master of Science): 1. Semester
(Po-Vers. 2011 | Masterprüfung | Pflichtmodule | Informationstheorie)
- Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science)
(Po-Vers. 2010 | Bachelorprüfung | Technisches Anwendungsfach (TAF) | NF Information Technology | Informationstheorie)
- Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science)
(Po-Vers. 2008 | Masterprüfung | Wahlpflichtbereich Angewandte Mathematik | Informationstheorie)
- Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science)
(Po-Vers. 2008 | Masterprüfung | Wahlpflichtbereich Technisches Anwendungsfach | Informationstheorie)
- Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science)
(Po-Vers. 2013 | Masterprüfung | Wahlpflichtbereich Technisches Anwendungsfach | Technical Application Field)
- Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science): 5-6. Semester
(Po-Vers. 2007 | Studienrichtungen (Wahlpflichtmodule) | Studienrichtung Informationstechnik | Kernmodule Informationstechnik | Informationstheorie)
- Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science): 5-6. Semester
(Po-Vers. 2009 | Studienrichtungen | Studienrichtung Informationstechnik | Kernmodule (Pflichtmodule) Informationstechnik | Informationstheorie)
- Elektrotechnik, Elektronik und Informationstechnik (Master of Science): 1-4. Semester
(Po-Vers. 2010 | Studienrichtung Informationstechnik | Kernmodule Informationstechnik | Informationstheorie)
- Informations- und Kommunikationstechnik (Bachelor of Science): 5. Semester
(Po-Vers. 2009 | Wahlpflichtmodule, Wahlmodule, Seminar, Praktika, Bachelorarbeit | Wahlpflichtmodule aus Katalog für IuK)
- Informations- und Kommunikationstechnik (Master of Science)
(Po-Vers. 2010 | Schwerpunkt Eingebettete Systeme | Wahlpflichtmodule | Wahlpflichtmodul aus EEI im Schwerpunkt Eingebettete Systeme)
- Informations- und Kommunikationstechnik (Master of Science)
(Po-Vers. 2010 | Schwerpunkt Kommunikationsnetze | Wahlpflichtmodule | Wahlpflichtmodul aus EEI im Schwerpunkt Kommunikationsnetze)
- Informations- und Kommunikationstechnik (Master of Science)
(Po-Vers. 2010 | Schwerpunkt Multimediasysteme | Wahlpflichtmodule | Wahlpflichtmodul aus EEI im Schwerpunkt Multimediasysteme)
- Informations- und Kommunikationstechnik (Master of Science)
(Po-Vers. 2010 | Schwerpunkt Realisierung von Informations- und Kommunikationssystemen | Wahlpflichtmodule | Wahlpflichtmodul aus EEI im Schwerpunkt Realisierung von Informations- und Kommunikationssystemen)
- Informations- und Kommunikationstechnik (Master of Science)
(Po-Vers. 2010 | Schwerpunkt Übertragung und Mobilkommunikation | Pflichtmodule | Informationstheorie)
- Mathematik (Bachelor of Science): 5. Semester
(Po-Vers. 2009 | Nebenfach Informations- und Kommunikationtechnik | Module im 2. und 3. Studienjahr | Informationstheorie)
- Medizintechnik (Master of Science)
(Po-Vers. 2011 | Modulgruppen M2 - M8 | Fachrichtung "Medizinische Bild- und Datenverarbeitung" | M3 Ingenieurswissenschaftliche Kernfächer II | Informationstheorie)
- Medizintechnik (Master of Science)
(Po-Vers. 2013 | Studienrichtung Medizinische Bild- und Datenverarbeitung | M2 Ingenieurwissenschaftliche Kernmodule (BDV))
- Wirtschaftsingenieurwesen (Bachelor of Science)
(Po-Vers. 2007 | PO-Version 2007 | Bachelorprüfung | 1.-2. Ingenieurwissenschaftliches Wahlpflichtmodul in der Studienrichtung Informations- und Kommunikationssysteme | Informationstheorie)
- Wirtschaftsingenieurwesen (Bachelor of Science): 4-5. Semester
(Po-Vers. 2008 | Studienrichtung Informations- und Kommunikationssysteme | weiterer Bachelorprüfungen | Ingenieurwissenschaftlicher Bereich | Wahlbereich | 1.-2. Ingenieurwissenschaftliches Wahlpflichtmodul | Informationstheorie)
- Wirtschaftsingenieurwesen (Bachelor of Science): 4-5. Semester
(Po-Vers. 2009 | Studienrichtung Informations- und Kommunikationssysteme | weiterer Bachelorprüfungen | Ingenieurwissenschaftlicher Bereich | Wahlbereich | 1.-2. Ingenieurwissenschaftliches Wahlpflichtmodul | Informationstheorie)
- Wirtschaftsingenieurwesen (Master of Science): 1-2. Semester
(Po-Vers. 2009 | Ingenieurwissenschaftliche Studienrichtungen | Studienrichtung Informations- und Kommunikationssysteme | Wahlpflicht- und Vertiefungsmodul Modulgruppe 1 | Wahlpflichtmodul Modulgruppe 1 | Informationstheorie)
- Wirtschaftsingenieurwesen (Master of Science): 1-2. Semester
(Po-Vers. 2009 | Ingenieurwissenschaftliche Studienrichtungen | Studienrichtung Informations- und Kommunikationssysteme | 2.+3. Wahlpflichtmodul | Informationstheorie)
Studien-/Prüfungsleistungen:
Vorlesung und Übung Informationstheorie_ (Prüfungsnummer: 36001)
- Prüfungsleistung, Klausur, benotet
- Anteil an der Berechnung der Modulnote: 100.0 %
- Erstablegung: SS 2014, 1. Wdh.: WS 2014/2015, 2. Wdh.: keine Wiederholung
1. Prüfer: | Johannes Huber |
- Termin: 05.10.2014
Termin: 03.02.2015, 10:00 Uhr, Ort: H 11
Termin: 22.07.2015, 08:00 Uhr, Ort: H 1 NatFak
|
|
|
|
UnivIS ist ein Produkt der Config eG, Buckenhof |
|
|