Gradient Surgery

Ein Modell liest „Mein Paket ist nicht angekommen; ich brauche es bis morgen“ und lernt zwei Aufgaben: die zuständige Abteilung auswählen und Dringlichkeit erkennen. Beide nutzen gemeinsame Einstellungen — Zahlen, die die Textverarbeitung steuern. Eine Korrektur, die bei der Abteilungswahl hilft, kann jedoch die Bewertung der Dringlichkeit verschlechtern. Die beiden vorgeschlagenen Korrekturen einfach zu addieren prüft nicht, ob sie sich gegenseitig behindern.

Gradient Surgery verändert die Hinweise zur Änderung der Einstellungen vor einem gemeinsamen Lernschritt, um Konflikte zwischen Aufgaben zu verringern. Ein solches Verfahren ist PCGrad: Es entfernt aus jedem Hinweis den Anteil, der der anderen Aufgabe entgegenwirkt. Yu et al., Gradient Surgery for Multi-Task Learning, §2.3, Algorithmus 1 beschreiben diese konkrete Regel.

Was korrigieren wir eigentlich?

Jede Aufgabe erhält einen Loss: eine Zahl, die den Fehler der Antwort bewertet; kleiner ist besser. Daraus berechnen wir einen Gradienten, eine Liste von Hinweisen darauf, wie kleine Änderungen der Einstellungen den Loss beeinflussen. Der Gradient zeigt in Richtung seines lokalen Anstiegs. Ein gewöhnlicher Lernschritt geht in die entgegengesetzte Richtung.

Stellen wir uns nur zwei gemeinsame Einstellungen vor. Für die Abteilung beträgt der Gradient [1; 0]: Eine Erhöhung der ersten Einstellung steigert den Loss, die zweite verändert ihn an dieser Stelle nicht. Für Dringlichkeit lautet der Gradient [-2; 1]. Die Summe ist [-1; 1]; ein Schritt in die Gegenrichtung erhöht also die erste Einstellung. Das hilft der Dringlichkeitsbewertung, schadet aber lokal der Abteilungswahl.

PCGrad entfernt widersprüchliche Anteile vor dem Addieren: Aus dem ersten Gradienten wird [0,2; 0,4], aus dem zweiten [0; 1]. Ihre Summe ist [0,2; 1,4]. Nun verringert der Schritt beide Einstellungen; bei einem hinreichend kleinen Schritt sagt die lokale Näherung einen Rückgang beider Loss-Werte voraus. Dies ist ein eigenes Rechenbeispiel, keine Modellmessung oder Aussage darüber, was seine tatsächlichen Einstellungen bedeuten.

Konflikt und Grenze ausprobieren

Die Schrittweite der Demonstration beträgt 0,1. Ohne Korrektur ändern sich die Einstellungen um [0,1; −0,1], der Loss der Abteilungswahl näherungsweise um +0,1. Nach PCGrad erhalten wir [−0,02; −0,14] und −0,02. Ein positives Ergebnis bedeutet Verschlechterung, ein negatives Verbesserung. Wechsle den Fall und prüfe, ob die Korrektur immer eine Bewegung bewirkt.

PCGrad lässt Gradienten ohne Konflikt unverändert. Bei genau entgegengesetzten Richtungen kann es beide auf null setzen und den Schritt stoppen. Diese Grenze behandelt §2.4, Theorem 1. Außerdem garantiert die lokale Näherung weder Verbesserung nach einem großen Schritt noch bessere Antworten auf neue Nachrichten. Ein Gradientenkonflikt allein beweist nicht, dass gemeinsames Lernen schadet; die Autoren untersuchen auch Größenunterschiede der Gradienten und die Form der Loss-Funktion (§2.2).

Verwandte Begriffe

• Multi-task Learning verbindet Aufgaben beim gemeinsamen Lernen; PCGrad korrigiert ihren Einfluss auf die gemeinsamen Einstellungen.
• Negative Transfer bezeichnet eine Verschlechterung gegenüber dem Lernen ohne die zusätzliche Aufgabe. PCGrad versucht, einen möglichen Schadensmechanismus zu verringern.
• Stochastic Gradient Descent [Polski] kann mit den korrigierten Gradienten einen Schritt ausführen. PCGrad verändert den eingehenden Hinweis.

Text und Illustration wurden mit KI-Unterstützung erstellt. Nachricht und Zahlen sind ein eigenes vereinfachtes Lernbeispiel; die Demonstration zeigt die Geometrie eines Schritts, kein Training eines Sprachmodells.