Glossarbegriff · · 3 Min. Lesezeit
GradNorm
Ein Modell liest „Das Paket ist nicht angekommen; ich brauche es morgen“ und lernt zwei Dinge: die zuständige Abteilung zu wählen und Dringlichkeit zu erkennen. Jede Fähigkeit bewerten wir mit einem Verlust, einer Zahl für den Fehler der Antwort; kleiner ist besser. Nach einiger Zeit ist der Verlust für die Abteilung von 1 auf 0,2 gesunken, während der für Dringlichkeit bei 1 bleibt. Feste Koeffizienten für beide Verluste reagieren nicht darauf, dass eine Aufgabe Fortschritte macht und die andere stillsteht.
GradNorm ist eine Methode, die diese Koeffizienten beim gemeinsamen Lernen automatisch anpasst. Sie prüft die relative Verlustabnahme und die Stärke der Signale, die die gemeinsamen Einstellungen des Modells verändern. Damit ist sie eine adaptive Variante von Task Weighting, das den Anteil der Aufgaben am Lernziel regelt. Den Algorithmus beschreiben Chen et al., §3 und Algorithmus 1.

Gleiche Stärke bedeutet nicht gleichen Fortschritt
Ein Gradient beschreibt, wie der Verlust auf kleine Änderungen der Modelleinstellungen reagiert. Seine Norm ist eine einzelne Zahl für die Größe dieses Signals, ohne dessen Richtung anzugeben. GradNorm vergleicht die Normen für denselben ausgewählten Teil der gemeinsamen Einstellungen, meist die letzte gemeinsame Berechnungsschicht.
In unserem Beispiel nehmen wir für beide Aufgaben eine aktuelle Norm von 3 an, die Koeffizienten bereits eingerechnet. Die Signale sind gleich groß, doch die Abteilung hat ihren Verlust auf 20% des Anfangswerts gesenkt, während Dringlichkeit noch bei 100% liegt. Der Mittelwert dieser Anteile ist 60%. Teilen wir jeden durch diesen Mittelwert, erhalten wir 1/3 und 5/3: Die größere Zahl zeigt langsameren relativen Fortschritt an.
Bei einer Ausgleichsstärke von α = 1 setzt GradNorm Zielnormen von 3 × 1/3 = 1 für die Abteilung und 3 × 5/3 = 5 für Dringlichkeit. Es korrigiert die Koeffizienten, um die Signale diesen Zielen anzunähern; es setzt die Normen nicht sofort auf die Zielwerte. Nach der Aktualisierung skaliert es die Koeffizienten so, dass ihre Summe weiterhin der Anzahl der Aufgaben entspricht.
Das sind unsere eigenen erfundenen Zahlen. Die Änderung betrifft den Einfluss der Aufgaben auf das weitere Lernen, nicht die Sicherheit einer einzelnen Antwort. Der Mechanismus gehört zu Multi-task Learning, bei dem mehrere Aufgaben einen gemeinsamen Teil des Modells nutzen.
Ändere die Ausgleichsregel
Das Ziel folgt der Formel aus §3.2, Gleichung 1:
ist der Mittelwert der aktuellen Normen (3), und ist der verbleibende Verlustanteil der Aufgabe geteilt durch den Mittelwert dieser Anteile. Der Parameter regelt, wie stark Fortschrittsunterschiede die Ziele verändern. Bei α = 0 betragen beide Ziele 3, trotz unterschiedlichen Fortschritts. Wechsle in der Demonstration α und vertausche dann die Fortschritte der Aufgaben: Folgt das Ziel dem Namen der Aufgabe oder ihrem Fortschritt?
Das Experiment berechnet nur Ziele für einen einzelnen Zeitpunkt des Lernens; es simuliert keine Modellaktualisierungen.
Wo die Regel scheitern kann
Ausbleibender Fortschritt kann an einer Aufgabe liegen, die das Modell nicht lernen kann. Dann kann die Regel deren Anteil immer weiter erhöhen. Die Autoren beschreiben dieses Problem im Anhang §7.2. Außerdem beseitigt eine Änderung der Signalgrößen keine widersprüchlichen Richtungen; damit beschäftigt sich Gradient Surgery. Die Experimente der Arbeit betreffen synthetische Daten und Bilder; die Paketnachricht ist unser Beispiel, kein Ergebnis für LLMs.
Text und Illustration wurden mit KI-Unterstützung erstellt.