Elastic Weight Consolidation

Ein Modell leitet Kundenfragen an die Abteilungen „Lieferung“ und „Rücksendungen“ weiter. Jetzt soll es lernen, Reklamationen zu erkennen, aber die alten Nachrichten dürfen nicht mehr gespeichert werden. Man kann sie beim Lernen also nicht wiederholen. Von der alten Aufgabe ist nur das Modell selbst geblieben: Millionen von Zahlen, die beim früheren Training eingestellt wurden und Gewichte heißen.

Man kann das Modell ohne jede Einschränkung auf Reklamationen trainieren. Dann verschieben sich die Gewichte dorthin, wo es der neuen Aufgabe hilft, auch jene, von denen das Erkennen von Lieferung und Rücksendungen abhing. Man kann auch jede Änderung gleich stark bestrafen, aber dann hält das Modell so fest an den alten Einstellungen, dass es das Neue nur schlecht lernt. Nötig ist eine Antwort auf die Frage: Welche Gewichte darf man bewegen und welche besser nicht?

Elastic Weight Consolidation (EWC) fügt dem Lernen der neuen Aufgabe eine Strafe dafür hinzu, dass sich die Gewichte von ihren Werten nach der alten Aufgabe entfernen; die Strafe ist umso größer, je wichtiger das jeweilige Gewicht für die alte Aufgabe war. Die Autoren vergleichen das mit einer Feder, die an jedem Gewicht befestigt ist: steif bei wichtigen Gewichten, locker bei den übrigen (Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §2).

Zwei Gewichte, eine neue Aufgabe

Nehmen wir nur zwei Gewichte. Nach dem Lernen von Lieferung und Rücksendungen haben beide den Wert 1. Das erste ist für die alten Abteilungen sehr wichtig (Wichtigkeit 10), das zweite nahezu gleichgültig (Wichtigkeit 0,1). Die neue Aufgabe verlangt lediglich, dass die Summe beider Gewichte 4 beträgt. Das erfüllen viele Einstellungen: (2, 2), aber auch (1, 3).

• Ohne Schutz verschiebt das Lernen beide Gewichte gleich weit, auf (2, 2). Die neue Aufgabe ist gelernt, aber das wichtige Gewicht ist um 1 abgewandert, und der Verlust bei der alten Aufgabe steigt von 0 auf 5,05.
• Eine gleiche Strafe für beide Gewichte hält sie auf halbem Weg an, bei (1,67, 1,67). Die alte Aufgabe leidet weniger, aber die Summe beträgt 3,33 statt 4.
• EWC verlagert fast die gesamte Bewegung auf das wenig wichtige Gewicht: (1,02, 2,80). Die Summe beträgt 3,82, und der Verlust bei der alten Aufgabe liegt bei nur 0,16.

Der Verlust ist eine Zahl, die angibt, wie stark sich das Modell irrt; je kleiner, desto besser. Im Experiment unten kannst du die Stärke der Strafe λ und die Art des Schutzes ändern. Das Ergebnis wird für genau dieses Beispiel mit zwei Gewichten exakt berechnet; es ist keine Simulation eines echten Netzes.

Woher man weiß, welches Gewicht wichtig ist

In einem echten Netz gibt niemand die Wichtigkeit vor. Man schätzt sie nach Abschluss der alten Aufgabe, solange deren Daten noch verfügbar sind: Man prüft, wie stark eine kleine Änderung eines Gewichts die Antworten des Modells auf die alten Beispiele verändert. Die Arbeit verwendet dafür die Diagonale der Fisher-Informationsmatrix, also eine Wichtigkeitszahl pro Gewicht. Danach können die Daten gelöscht werden; es bleiben die alten Werte der Gewichte und ihre Wichtigkeiten.

Beim neuen Lernen wird die Summe zweier Bestandteile minimiert (Gleichung 3 der Arbeit):

$$L(\theta) = L_B(\theta) + \sum_i \frac{\lambda}{2} F_i \,(\theta_i - \theta^*_{A,i})^2$$

$L_B$ ist der Verlust bei der neuen Aufgabe, $\theta_i$ der aktuelle Wert des Gewichts Nummer $i$, $\theta^*_{A,i}$ sein Wert nach der alten Aufgabe, $F_i$ seine Wichtigkeit, und $\lambda$ gibt an, wie stark die alte Aufgabe gegenüber der neuen zählt. In unserem Beispiel gilt $F = (10;\ 0{,}1)$ und $\lambda = 1$.

Grenzen der Methode

Die Wichtigkeit ist eine Näherung, die an einem einzigen Punkt und für jedes Gewicht getrennt berechnet wird. Die Autoren selbst zeigen, dass ihre Schätzung mitunter zu sicher darin ist, welche Gewichte unwichtig sind, und nennen das die Hauptschwäche der Methode (§2.2 und §3). In ihren Experimenten mit Atari-Spielen lernte ein Agent mit EWC viele Spiele nacheinander, reichte aber nicht an getrennte Netze heran, die für jedes Spiel einzeln trainiert wurden. Die Ergebnisse betreffen die Erkennung von Ziffern und Spiele, nicht große Sprachmodelle. Unsere zwei Gewichte und die Kundennachrichten sind eine eigene Vereinfachung.

• Catastrophic Forgetting [Polski] ist eine erhebliche Verschlechterung früherer Fähigkeiten nach neuem Lernen; EWC versucht, sie ohne Zugriff auf die alten Daten zu verringern.
• Experience Replay löst dasselbe Problem anders: Es speichert einen Teil der früheren Beispiele statt der Wichtigkeiten der Gewichte.
• Continual Learning bezeichnet das Ziel, also das Lernen weiterer Aufgaben unter Erhalt der früheren; EWC ist eine der Methoden.
• Fine-tuning ist das weitere Training eines fertigen Modells; EWC verändert dessen Ziel, indem es eine Strafe für das Bewegen wichtiger Gewichte hinzufügt.

Text und Illustration wurden mit KI-Unterstützung erstellt. Die zwei Gewichte, ihre Wichtigkeiten und die Demonstration sind ein eigenes vereinfachtes Lernbeispiel; die Illustration ist eine Metapher, kein Schema der Modellarchitektur.