Validation Set

Du betreibst einen Eisstand und möchtest den täglichen Absatz anhand der Temperatur vorhersagen. Du hast drei Tage notiert: Bei 20°C wurden 20 Portionen verkauft, bei 22°C waren es 30 und bei 24°C waren es 28. Du vergleichst drei Regeln: immer 24 Portionen, eine Gerade und eine Kurve, die genau durch alle drei Ergebnisse verläuft. Die letzte Regel macht im Notizbuch keinen einzigen Fehler. Sollte sie den Vorrat für morgen planen?

Eine erneute Prüfung derselben Tage beantwortet diese Frage nicht. Die flexible Regel könnte sich auch an Zufälle angepasst haben, etwa an eine ungewöhnlich große Reisegruppe bei 22°C. Bevor du eine Regel auswählst, legst du andere Tage zum Vergleich der Kandidaten beiseite. Validation Set ist ein gesonderter Teil der Daten, der zur Auswahl eines Modells oder seiner Einstellungen dient, statt dessen gelernte Zahlen anzupassen. Diese Trennung beschreiben Goodfellow, Bengio und Courville, Deep Learning, §5.3.

Ein Notizbuch zum Lernen, andere Tage zur Auswahl

Die Regeln und ihre Zahlen legen wir ausschließlich anhand der Trainingsdaten fest. Die Gerade sagt das Doppelte der Temperatur minus 20 voraus. Die Kurve ist ein Bogen, der an die drei Punkte im Notizbuch angepasst wurde. Mittlerer absoluter Fehler bedeutet hier: Berechne für jeden Tag, um wie viele Portionen die Vorhersage danebenliegt, ignoriere das Vorzeichen und bilde den Durchschnitt.

An den beiseitegelegten Tagen mit 21°C, 23°C und 25°C wurden 23, 25 beziehungsweise 31 Portionen verkauft. Die Kurve sagt 26,5, 30,5 und 22,5 voraus; ihr mittlerer Fehler beträgt etwa 5,83 Portionen. Die Gerade sagt 22, 26 und 30 voraus: Ihr Fehler beträgt 1 Portion. Deshalb wählen wir die Gerade, obwohl sie im Notizbuch mit 2 zu 0 verlor. Das Validation Set hat keine Regel verbessert; es hat bei der Auswahl unter drei Regeln geholfen. Die Daten sind erfunden. Vorhersagen mit Bruchteilen meinen den erwarteten Absatz, nicht das Aufteilen einer Portion.

Nach der Auswahl braucht es noch eine abschließende Bewertung

Die zur Auswahl verwendeten Tage haben die Entscheidung bereits beeinflusst. Ein dritter, überschneidungsfreier Teil der Daten, das test set, dient deshalb erst zur Bewertung der festgelegten Lösung. Im Beispiel liegt die Gerade an zwei zuvor verdeckten Tagen im Durchschnitt um 1 Portion daneben. Änderst du nach diesem Ergebnis die Regel, dienen diese Tage ebenfalls der Auswahl; sie verlieren ihre Rolle als unabhängiger Test (§5.3).

Das ist eine wichtige Einschränkung: Nach vielen Versuchen kann sich die Auswahl an das Validation Set selbst anpassen und ein zu optimistisches Ergebnis liefern. Die drei beiseitegelegten Tage sind hier nur eine Lernhilfe, keine verlässliche Bewertung tatsächlicher Verkäufe. Kein festgelegter Prozentsatz für die Aufteilung garantiert eine gute Messung.

• Overfitting beschreibt eine übermäßige Anpassung an Trainingsbeispiele; gesonderte Daten helfen, die Wirkung zu erkennen.
• Fine-tuning ist das weitere Training eines vorhandenen Modells; ein Validation Set kann zur Wahl der Einstellungen dienen.
• Cross-entropy ist eine andere Art der Fehlermessung, die häufig bei Textvorhersagen verwendet wird; die Trennung der Datenrollen bleibt gleich.

Text und Illustration wurden mit KI-Unterstützung erstellt. Daten, Regeln und Demonstration sind ein eigenes vereinfachtes Beispiel; die Illustration ist eine Metapher für die Auswahl und das Aufbewahren einer gesonderten Probe.