Continual Learning

Ein Modell leitet Kundennachrichten an die Abteilungen „Bestellungen“ und „Rücksendungen“ weiter. Es erkennt „Wo ist mein Paket?“. Jetzt eröffnet das Unternehmen eine Reklamationsabteilung. Du trainierst das Modell mit Nachrichten über beschädigte Produkte weiter. Es ordnet Reklamationen immer besser zu, aber auch einige Fragen zur Lieferung landen nun in der neuen Abteilung. Nur die Reklamationen zu prüfen würde einen falschen Eindruck von Fortschritt vermitteln.

Du musst dem Modell Neues beibringen und dabei frühere Fähigkeiten erhalten. Das ist das Ziel von Continual Learning: aus nacheinander eintreffenden Daten oder Aufgaben zu lernen und dabei zu berücksichtigen, was das Modell bereits gelernt hat. Der Name bezeichnet ein Problem und eine Familie von Ansätzen; er garantiert nicht, dass das Vergessen ausbleibt. Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §1 beschreiben diesen Bedarf.

Was sich beim Training und bei der Bewertung ändert

Nehmen wir an, das vollständige Archiv der Beispiele aus dem früheren Training ist nicht mehr verfügbar. Vor dem Löschen haben wir eine kleine Stichprobe aufbewahrt: 20 Nachrichten, deren richtige Abteilungen bekannt sind. Eine mögliche Methode mischt diese Stichprobe unter die neuen Reklamationsbeispiele. So erhält das weitere Training auch ein Signal, „Wo ist mein Paket?“ weiterhin richtig zu bearbeiten. Die erneute Verwendung früherer Beispiele ist eine der Strategien bei van de Ven und Tolias, Three scenarios for continual learning, §3.3.

Das Bewertungsteam bewahrt einen gesonderten Test mit alten Nachrichten auf, den wir nicht zum Training verwenden. Nach jeder Aktualisierung prüfen wir alte und neue Kategorien. Die folgenden Zahlen sind ein erfundenes Beispiel, keine Forschungsergebnisse; jeder Test enthält 100 Nachrichten.

Variante	Alte Fälle: richtig	Neue Fälle: richtig
Vor dem neuen Training	90/100	0/100 — diese Kategorie gibt es noch nicht
Nach dem Training nur mit Reklamationen	40/100	92/100
Nach dem Training mit einer Stichprobe früherer Nachrichten	89/100	87/100

Die letzte Variante erhält die frühere Fähigkeit besser, erkennt Reklamationen aber schlechter als die zweite. Die Tabelle zeigt, was zu vergleichen ist; sie verspricht dieses Ergebnis nicht allein durch das Hinzufügen von 20 Beispielen.

Die Bedingungen verändern die Schwierigkeit

In unserem Beispiel wählt das Modell selbst zwischen allen bisher gelernten Abteilungen. Ein Hinweis wie „diese Nachricht gehört zur neuen Kategorie“ würde den Test erleichtern. Ob solche Hinweise und Grenzen zwischen Aufgaben verfügbar sind, ist beim Methodenvergleich wichtig (van de Ven und Tolias, §2–2.3). Eine kleine Stichprobe kann seltene Fragen auslassen; ein guter Durchschnitt beweist nicht, dass jede Fähigkeit erhalten geblieben ist.

• Catastrophic Forgetting [Polski] beschreibt eine erhebliche Verschlechterung früherer Fähigkeiten; die Demonstration zeigt, wie neues Training gemeinsame Einstellungen verändert.
• Fine-tuning bedeutet, ein Modell mit ausgewählten Beispielen weiterzutrainieren. Nach aufeinanderfolgenden Trainings prüfen wir auch frühere Fähigkeiten.
• Knowledge Distillation kann Hinweise von einem älteren Modell an das aktualisierte Modell weitergeben; das ist eine andere Strategie als das Aufbewahren der ursprünglichen Nachrichten (§3.3 der Arbeit von van de Ven und Tolias).

Text und Illustration wurden mit KI-Unterstützung erstellt; die Nachrichten, die Größe der Stichprobe und die Tabellenergebnisse sind ein eigenes Lehrbeispiel. Die Illustration zeigt das Ziel, frühere Fähigkeiten zu erhalten, nicht den Aufbau des Modells.