Glossar

Glossarbegriff · · 3 Min. Lesezeit

Homoscedastic Uncertainty

Ein Paketdienst möchte aus Adresse und Versandzeit die Zustellzeit vorhersagen. Das Modell sagt für ein Paket 12:00 Uhr und für ein anderes 18:00 Uhr voraus. Selbst gute Prognosen können von der tatsächlichen Zeit abweichen, weil die Daten nicht alle Verzögerungen erfassen. Die vorhergesagte Uhrzeit allein sagt nichts darüber aus, welche Streuung dieser Fehler wir annehmen. Brauchen wir eine eigene Einschätzung für jedes Paket, oder reicht als Ausgangspunkt eine für die gesamte Aufgabe?

Homoscedastic Uncertainty bedeutet, die Unsicherheit durch Rauschen in den Daten für alle Eingaben einer Aufgabe als gleich zu modellieren. „Gleich“ bezieht sich auf die Streuung, nicht auf die vorhergesagte Uhrzeit oder den tatsächlichen Fehler. Diese Unterscheidung beschreiben Kendall, Gal und Cipolla, §3.1.

Zwei Pakete mit Zifferblättern, die unterschiedliche Uhrzeiten anzeigen, sind von gleich breiten verschwommenen Bändern umgeben, die ein gemeinsames Unsicherheitsniveau symbolisieren.

Ein Maß für unterschiedliche Vorhersagen

Nehmen wir als Beispiel an, die Fehler folgen einer symmetrischen, glockenförmigen Normalverteilung (Gauß-Verteilung): Kleine Abweichungen sind häufiger, große seltener. Ihre Breite beschreiben wir mit der Standardabweichung, einem Streuungsmaß, das mit σ bezeichnet wird. Setzen wir σ auf zwei Stunden.

PaketVorhersageGemeinsames Streuungsmaß
Morgens versandt12:00σ = 2 Stunden
Nachmittags versandt18:00σ = 2 Stunden

Das verspricht nicht, dass jedes Paket höchstens zwei Stunden vor oder nach der Prognose ankommt. Das Modell nimmt für beide Eingaben dieselbe Breite der Fehlerverteilung an. Uhrzeiten und Streuung sind ein eigenes Beispiel, keine Messungen eines Paketdienstes.

Wozu diese Größe lernen?

Wenn ein Modell mehrere Aufgaben mit gemeinsamen Einstellungen lernt, also Multi-task Learning, kann jede Aufgabe ein anderes Rauschniveau haben. Bei Kendall et al. lernt das Modell zusätzlich einen positiven σ-Wert pro Aufgabe. Dieser Wert kann sich während des Lernens ändern, gilt zu einem bestimmten Zeitpunkt aber für alle Eingaben dieser Aufgabe.

Der Wert steuert Task Weighting: den Beitrag der Aufgabe zur gemeinsamen Fehlerbewertung, dem Loss. Bei der Vorhersage von Zahlen unter der Annahme einer Glockenverteilung verringert ein größeres σ den Faktor vor der Summe der quadrierten Fehler. Ein zusätzlicher Term im Lernziel bestraft eine übermäßige Erhöhung von σ, damit die Aufgabe nicht einfach stummgeschaltet werden kann (§3.2, Gleichung 7). Das ist eine andere Regel als bei GradNorm, das die Verbesserungsgeschwindigkeit der Aufgaben berücksichtigt. Das Paper untersuchte Bilder; die Pakete sind eine Analogie, kein Ergebnis zu LLMs.

Einschränkung: Sind Zustellungen außerhalb der Stadt deutlich weniger vorhersehbar als im Zentrum, zeigt ein einziges σ diesen Unterschied nicht. Es bewertet daher nicht die Zuverlässigkeit der Prognose für ein bestimmtes Paket. Dafür wäre ein Modell nötig, bei dem die Streuung von der Eingabe abhängen darf.

Text und Illustration wurden mit KI-Unterstützung erstellt. Das Paketbeispiel ist eine didaktische Vereinfachung.

Ich nutze KI-generierte Inhalte als Teil meines täglichen Lernprozesses.