Glossar

Glossarbegriff · · 3 Min. Lesezeit

Task Weighting

Ein Modell liest „Das Paket ist nicht angekommen, ich brauche es morgen“ und lernt, eine Abteilung auszuwählen und die Dringlichkeit zu erkennen. Jede Aufgabe erhält einen Verlust, eine Zahl zur Bewertung des Antwortfehlers: kleiner ist besser. Angenommen, der Verlust für die Abteilung beträgt 0,20 und für die Dringlichkeit 20, weil die Bewertungen unterschiedliche Skalen verwenden. Einfaches Addieren ergibt 20,20. Bedeutet die größere Zahl, dass die Dringlichkeit in der gemeinsamen Bewertung so viel stärker ins Gewicht fallen sollte?

Task Weighting legt die Koeffizienten fest, mit denen wir die Verluste einzelner Aufgaben multiplizieren, bevor wir sie zu einem Lernziel verbinden. Man kann sie von Hand wählen oder nach einer zusätzlichen Regel lernen. Das gehört zu Multi-task Learning, dem Lernen mehrerer Aufgaben, die einen gemeinsamen Teil des Modells nutzen. Die allgemeine gewichtete Summe beschreiben Kendall, Gal und Cipolla, §3, Gleichung 1.

Zwei Behälter mit getrennten Ventilen leiten unterschiedlich breite Ströme in eine gemeinsame Schale und zeigen die regelbaren Beiträge zweier Aufgaben.

Dieselbe Änderung, eine andere Bewertung

Multiplizieren wir den Verlust für die Dringlichkeit mit 0,01 und belassen den Koeffizienten für die Abteilung bei 1. Das gemeinsame Ergebnis beträgt jetzt 0,20 + 0,01 × 20 = 0,40.

Betrachten wir eine vorgeschlagene Änderung der Modelleinstellungen, nach der der Verlust für die Abteilung auf 0,22 steigt und für die Dringlichkeit auf 19 sinkt. Wertet das gemeinsame Ziel dies als Verbesserung?

Koeffizient für DringlichkeitVor der ÄnderungNach der ÄnderungBewertung des gemeinsamen Ziels
120,2019,22Verbesserung
0,010,400,41Verschlechterung
0,020,600,60Keine Änderung

Der Kompromiss hat sich geändert: Ein kleinerer Fehler bei der Dringlichkeit gleicht einen größeren Fehler bei der Abteilung nicht immer aus. Die Zahlen sind ein eigenes Beispiel, und die Tabelle vergleicht einen einzigen vorgeschlagenen Schritt; sie simuliert kein Training. Ein kleineres Ergebnis nach einer Umskalierung bedeutet keine besseren Antworten. Auch die Stärke eines Lernschritts lässt sich nicht allein aus der Höhe des Verlusts ableiten: Entscheidend ist dessen Empfindlichkeit gegenüber Änderungen der Einstellungen, beschrieben durch den Gradienten.

Woher kommen die Koeffizienten?

Die Dringlichkeit dieser Nachricht kann unklar sein, weil die Daten den tatsächlichen Termin nicht immer erkennen lassen. Eine Methode schätzt für jede Aufgabe ein gemeinsames Niveau dieser Unsicherheit und nutzt es zur Gewichtung der Verluste. Bei Kendall et al. §3.1–3.2 ist dies uncertainty weighting. Ein zusätzlicher Strafterm verhindert die triviale „Lösung“, die Aufgaben stummzuschalten. Untersucht wurde die Methode an Bildern; unsere Nachricht ist eine Analogie, kein Ergebnis dieser Arbeit.

Eine Grenze: Die Wahl von Koeffizienten garantiert keine Verbesserung beider Aufgaben. Ihre vorgeschlagenen Änderungsrichtungen können sich weiterhin entgegenwirken; Gradient Surgery korrigiert genau solche Richtungen. Die Wirkung der gewählten Gewichtung prüfen wir für jede Aufgabe getrennt auf einem Validation Set, also Beispielen, die nicht zum Lernen der Modelleinstellungen verwendet werden.

Text und Illustration wurden mit KI-Unterstützung erstellt. Die Zahlen und die Nachricht sind ein eigenes Lehrbeispiel.

Ich nutze KI-generierte Inhalte als Teil meines täglichen Lernprozesses.