Regularization

Du betreibst einen Eisstand. Aus zehn aufgezeichneten Tagen erstellt ein Computer eine Regel, die den Verkauf anhand der Temperatur vorhersagt. Du lässt ihn die Kurve so lange verbiegen, bis sie jede Beobachtung trifft. Zwischen den erfassten Temperaturen macht die Kurve jedoch heftige Sprünge. Du möchtest den Vorrat für morgen planen. Kleinere Fehler im Heft allein zeigen dir nicht, welche Biegungen die Nachfrage beschreiben und welche nur einen zufälligen Tagesverlauf.

Du kannst die Lernregeln ändern: Eine gute Anpassung zählt weiterhin, aber nicht jede Verbesserung im Heft ist zusätzliche Beweglichkeit wert. Regularization bezeichnet eine Familie von Änderungen am Lernverfahren, die Fehler auf neuen Daten verringern sollen, selbst wenn dadurch die Anpassung an die Lerndaten schlechter wird (Goodfellow, Bengio und Courville, Deep Learning, §5.2.2). Das ist das Ziel der Methode, keine Verbesserungsgarantie.

Ändere, wofür die Regel belohnt wird

In unserem Beispiel beschreiben Koeffizienten die Kurve: Zahlen, die ihre Form bestimmen. Beim Anpassen kannst du für große Werte dieser Zahlen einen Strafterm hinzufügen: jede Zahl quadrieren und die Ergebnisse addieren. Durch das Quadrieren kosten auch große negative Werte etwas. Bei einer passend gewählten Darstellung der Kurve begrenzt diese Strafe starke Biegungen.

Wir wählen dann den kleineren Wert von „Fehler an den aufgezeichneten Tagen + Strafstärke × Strafe“, statt nur den Fehler zu betrachten. Diese Änderung des Lernziels beschreibt Deep Learning, §7.1, Gleichung 7.1.

Betrachte zwei beispielhafte Vorschläge: Kurve A hat einen Fehlerwert von 0 und eine Strafe von 100; Kurve B einen Fehler von 4 und eine Strafe von 4. Bei einer Strafstärke von 0,1 ergeben sich Gesamtkosten von 0 + 0,1 × 100 = 10 und 4 + 0,1 × 4 = 4,4. B gewinnt. Die Zahlen sind ein erfundenes Beispiel für einen Kostenvergleich, keine Verkaufsmessungen oder Ergebnisse der Demonstration. Wir wissen, warum B gewählt wurde; ob sie morgen besser vorhersagt, wissen wir noch nicht.

Prüfe, ob die Begrenzung hilft

Eine zu starke Strafe kann auch einen echten Anstieg der Nachfrage mit der Temperatur abflachen. Ihre Stärke wählst du anhand eines Validation Set: getrennten Tagen, die zur Auswahl von Einstellungen dienen, nicht zur Anpassung der Koeffizienten. Die Annahme über die gewünschte Form der Regel kann falsch sein.

• Overfitting beschreibt eine übermäßige Anpassung an vergangene Tage. Wähle im zugehörigen Experiment eine bewegliche Kurve, blende neue Tage ein und erhöhe die Strafe: Vergleiche beide Fehler. Prüfe auch, wann eine weitere Erhöhung schadet. Die Demonstration passt tatsächlich eine Kurve an simulierte Daten an; sie trainiert kein Sprachmodell.
• Weight decay zieht Gewichte, also die Zahlen, die die Berechnungen eines Modells steuern, in Richtung null. Es ist eine der dafür eingesetzten Techniken; Regularization umfasst mehr als einen einzelnen Strafterm oder eine Regel zum Schrumpfen von Gewichten.

Im ursprünglichen Transformer wurden auch andere Techniken dieser Familie eingesetzt (Vaswani und andere, Attention Is All You Need, §5.4). Das Eisbeispiel erklärt eine Form des Mechanismus, kein Rezept für jedes große Sprachmodell (LLM).

Text und Illustration wurden mit KI-Unterstützung erstellt. Der Kostenvergleich ist ein eigenes vereinfachtes Beispiel.