Glossarbegriff · · 3 Min. Lesezeit
Test Set
Du betreibst einen Eisstand und wählst eine Regel für die Vorratsplanung. An aufgezeichneten Tagen lernst du mehrere Regeln und vergleichst ihre Fehler an anderen Tagen. Eine Gerade gewinnt: Der vorhergesagte Absatz ist das Doppelte der Temperatur minus 20. Sie liegt im Durchschnitt um eine Portion daneben. Kannst du bereits sagen, dass sie die nächsten Tage genauso gut vorhersagen wird?
Noch nicht: Diese anderen Tage haben dir geholfen, den Sieger auszuwählen. Das Ergebnis zeigt, wie gut er bei der für die Auswahl verwendeten Prüfung abgeschnitten hat. Du brauchst eine Bewertung, die weder das Lernen noch diese Entscheidung beeinflusst hat.
Test Set ist eine zurückgelegte Sammlung von Beispielen zur abschließenden Bewertung eines festgelegten Modells. Weder ihre Daten noch ihre Ergebnisse werden zur Auswahl des Modells oder seiner Einstellungen verwendet. Diese Aufgabenteilung beschreiben Goodfellow, Bengio und Courville, Deep Learning, §5.3.
Erst die Auswahl abschließen, dann die Tage aufdecken
Bevor das Lernen beginnt, legst du zwei Tage zurück, die du für keine Anpassungen verwenden wirst. Nach der Auswahl der Geraden prüfst du sie an diesen Tagen:
| Temperatur | Tatsächlicher Absatz | Vorhersage der Geraden | Fehler ohne Vorzeichen |
|---|---|---|---|
| 19°C | 19 Portionen | 18 Portionen | 1 Portion |
| 26°C | 31 Portionen | 32 Portionen | 1 Portion |
Der durchschnittliche Fehler beträgt (1 + 1) / 2 = 1 Portion. Das bewertet die ausgewählte Regel an diesen beiden Tagen. Der Test selbst hat an ihr nichts geändert. Die Daten sind erfunden, und zwei Beobachtungen reichen hier lediglich aus, um die Rechnung zu zeigen.
Was passiert, wenn du die Gerade nach dem Ergebnis so anpasst, dass sie auch diese Tage genau trifft? Dann nutzt du sie zur Weiterentwicklung der Lösung. Eine erneute Prüfung an ihnen liefert keine unabhängige Bewertung der überarbeiteten Version mehr. Du brauchst neue, ungenutzte Daten. Das Lehrbuch weist darauf hin, dass ein ähnliches Problem entsteht, wenn Lösungen über Jahre an denselben öffentlichen Test angepasst werden (§5.3).
Was dieses Ergebnis aussagt
Der Test soll die Bedingungen widerspiegeln, unter denen die Regel eingesetzt wird. Eine Bewertung an Sommertagen in einer Stadt genügt nicht, um den Winterabsatz am Meer vorherzusagen. Im grundlegenden Ansatz nehmen wir unabhängige Beispiele aus derselben Art von Bedingungen wie bei den Trainingsdaten an (§5.2). Die Kopie eines Tages aus dem Heft wird nicht dadurch zu einem unabhängigen Beispiel, dass sie in eine andere Datei verschoben wird.
Eine kleine Sammlung ergibt ein unsicheres Ergebnis: Ein ungewöhnlicher Tag kann den Durchschnitt stark verändern (§5.3.1). Test Set ist eine Messung an einer bestimmten Stichprobe, kein Versprechen für das Verhalten in jeder Situation.
- Validation Set dient zur Auswahl der Regel. In seiner Demonstration kannst du die Auswahl abschließen, bevor du den abschließenden Test mit denselben beiden Tagen aufdeckst.
- Overfitting beschreibt die übermäßige Anpassung an die Trainingsdaten; ein separater Test hilft, den Unterschied gegenüber neuen Daten sichtbar zu machen.
- Bei Fine-tuning, also dem weiteren Training eines vorhandenen Modells, brauchst du eine Bewertung, die weder durch dieses Training noch durch die Wahl der Einstellungen beeinflusst wurde.
Text und Illustration wurden mit KI-Unterstützung erstellt. Das Verkaufsbeispiel ist eine eigene Vereinfachung; die Illustration zeigt als Metapher eine festgelegte Lösung, die an separatem Material geprüft wird.