Early Stopping

Du betreibst eine Fahrradwerkstatt und möchtest anhand einer kurzen Fehlerbeschreibung die Reparaturkosten schätzen. Ein Modell lernt aus früheren Aufträgen, deren tatsächliche Kosten du kennst. Im Laufe mehrerer Trainingsrunden sinkt sein durchschnittlicher Fehler bei diesen Aufträgen von 18 auf 4 Złoty. Liefert die letzte Version die beste Schätzung für das nächste Fahrrad? Aus der Verbesserung bei bekannten Aufträgen allein lässt sich das nicht ablesen. Das Modell könnte sich an zufällige Besonderheiten früherer Reparaturen angepasst haben.

Deshalb legst du einige Aufträge für das Validation Set beiseite. Das Modell lernt nicht aus ihnen. Sie dienen dazu, die aufeinanderfolgenden Versionen zu vergleichen. In jeder Runde prüfst du, um wie viele Złoty die Schätzungen im Schnitt von den tatsächlichen Kosten abweichen. Early Stopping nutzt solche Prüfungen für die Entscheidung, wann das Training endet. In der Variante unten speicherst du die Version mit dem bisher geringsten Fehler bei den zurückgelegten Aufträgen. Nach einer festgelegten Zahl von Prüfungen ohne neuen Bestwert beendest du das Training. Diese Regel steht in Deep Learning, §7.8, Algorithmus 7.1.

Die letzte Runde und die beste gespeicherte Version

Runde	Fehler bei Trainingsaufträgen	Fehler bei zurückgelegten Aufträgen
1	18 PLN	20 PLN
2	12 PLN	14 PLN
3	8 PLN	16 PLN
4	6 PLN	12 PLN
5	5 PLN	13 PLN
6	4 PLN	15 PLN

Das sind erfundene Ergebnisse eines Trainingslaufs. Bei einer Grenze von zwei Prüfungen ohne Verbesserung gibst du dem Modell nach Runde 3 noch eine Chance. In Runde 4 sinkt der Fehler auf 12 PLN. Du speicherst diese Version und setzt den Zähler zurück. Die Runden 5 und 6 übertreffen den Bestwert nicht. Du beendest das Training nach Runde 6 und kehrst zur gespeicherten Version aus Runde 4 zurück.

Probiere eine kürzere Grenze aus

Was passiert, wenn schon eine Prüfung ohne Verbesserung zum Stopp führt? Ändere die Grenze in der Demo. Das Programm wendet die Regel auf die Zahlen in der Tabelle an.

Bei einer Grenze von einer Prüfung endet das Training nach Runde 3 und du behältst die Version aus Runde 2. Die spätere Verbesserung entgeht dir. Auch im echten Training können die Ergebnisse schwanken. Vor dem Stopp weißt du nicht, ob in der nächsten Runde ein besseres Ergebnis kommt. Prechelt zeigt einen solchen Verlauf in §1.3, Abbildung 2.

Early Stopping ist eine Form von Regularization, also eine Änderung am Training, die bei neuen Daten helfen soll. Eine kürzere Trainingsdauer kann Overfitting abschwächen, also die übermäßige Anpassung an bekannte Aufträge. Die zurückgelegten Aufträge hast du bereits zur Wahl der Version genutzt. Für die abschließende Bewertung verwendest du eine separate Gruppe von Reparaturen, das Test Set.

Text und Illustration wurden mit KI-Unterstützung erstellt. Die Tabelle enthält ein eigenes Beispiel.