Schriftlich

Benchmarks spielen seit den 1980er Jahren eine zentrale Rolle in der Forschung zu maschinellem Lernen. Dennoch wissen Forschende immer noch wenig darüber, wie und warum Benchmarks funktionieren. Diese Vorlesung behandelt die sich neue entwickelnde Wissenschaft der Benchmarks. Im ersten Teil der Vorlesung liegt der Fokus auf den theoretischen und empirischen Grundlagen von Benchmarks, auf die dann im weiteren Verlauf der Vorlesung aufgebaut wird. Im zweiten Teil der Vorlesung befassen wir uns mit der Zuverlässigkeit und Gültigkeit, die wir aus einflussreichen Benchmarks wie beispielsweise ImageNet ziehen. Im letzten Teil der Vorlesung beschäftigen wir uns speziell mit Benchmarking und Evaluierung im Kontext von Large Language Modellen.

Ziel der Vorlesung ist es, ein besseres Verständnis davon zu erhalten, warum und in welchen Fällen Benchmarks funktioneren, wie sie nicht funktionieren, und wie man Modelle des maschinellen Lernens am besten evaluiert. Nach Absolvieren der Vorlesung haben die Studierenden ein gutes Verständnis von Benchmarks des maschinellen Lernens und deren Evaluation. Sie können bewährte Verfahren in der Evaluation von maschinellen Lernverfahren einsetzen und sind in der Lage, typische Fallstricke zu erkennen und zu vermeiden.

-