schriftliche Prüfung

Dieser Kurs umfasst verlustfreie und verlustbehaftete Datenkompression von der Informationstheorie bis zur Praxis und von etablierten Kompressionsalgorithmen bis zu neuartigen Methoden, die auf maschinellem Lernen basieren. Die Forschung zu Datenkompression hat in den letzten Jahren sprunghaften Fortschritt gemacht. Neuartige machine-learning basierte Kompressionsmethoden fangen gerade an, selbst die besten konventionellen Kompressionsmethoden zu übertreffen, insbesondere für Bild- und Videokompression.

Wir werden die informationstheoretischen Grundlagen für Datenkompression besprechen und beweisen (z.B. theoretische Limits für die Bitrate, rate/distortion-Theorie, und das source/channel separation Theorem). Aufbauend auf diesen Grundlagen werden wir dann zunächst in der Praxis etablierte Kompressionsalgorithmen besprechen (z.B. Huffman Coding, Arithmetic Coding, Asymmetric Numeral Systems, und Bits-Back Coding). Schließlich werden wir das neuartige Forschungsfeld von machine-learning basierter Datenkompression besprechen, mit wichtigen Methoden wie variationeller Inferenz und tiefen probabilistischen Modellen (z.B. variationellen Autoencodern).

Detaillierter Kursverlauf: https://robamler.github.io/teaching/compress23/
Anmeldung (Link korrigiert am 7.4.2023): https://ovidius.uni-tuebingen.de/ilias3/goto.php?target=crs_4116461

Auf der Theorie-Seite lernen Sie informationstheoretische Grenzen für verlustfreie und verlustbehaftete Kompression, verschiedene Algorithmen für sogenanntes "entropy coding" mit deren jeweilige Vor- und Nachteilen, sowie Grundlagen des probablistischen maschinellem Lernens, insbesondere skalierbare approximative bayesianische Inferenz.

Auf der praktischen Seite lernen Sie in den Übungen, entropy coding Algorithmen zu implementieren und verschiedene tiefe probabilistische machine-learning Modelle zu trainieren, in neuartige Datenkompressionsalgorithmen zu integrieren, und zu evaluieren.

I will recommend some relevant literature in the first lecture. However, since this course covers an emerging field of research, there isn't any canonical reference yet that covers all discussed topics. Special-made and recently revised videos for all covered topics as well as lecture notes and solutions to the problem sets will be provided on the course website.

Students should already have a sound understanding of multivariate calculus and should be able to write simple programs in Python. Parallel attendance of the course "Probabilistic Machine Learning" will likely be helpful, but is not formally required.