Test Set

Prowadzisz budkę z lodami i wybierasz regułę planowania zapasu. Na zapisanych dniach uczysz kilka reguł, a na osobnych porównujesz ich pomyłki. Wygrywa linia: przewidywana sprzedaż to dwukrotność temperatury minus 20. Myli się średnio o jedną porcję. Czy możesz już powiedzieć, że tak dobrze przewidzi kolejne dni?

Jeszcze nie: te osobne dni pomogły Ci wybrać zwycięzcę. Wynik mówi, jak dobrze wypadł na sprawdzianie użytym do wyboru. Potrzebujesz oceny, która nie wpłynęła ani na naukę, ani na tę decyzję.

Test Set to odłożony zbiór przykładów służący do końcowej oceny ustalonego modelu. Jego danych i wyników nie używa się do dobierania modelu ani jego ustawień. Ten rozdział ról opisują Goodfellow, Bengio i Courville, Deep Learning, §5.3.

Najpierw zamknij wybór, potem odsłoń dni

Zanim zaczęła się nauka, odkładasz dwa dni, których nie wykorzystasz do żadnych poprawek. Po wyborze linii sprawdzasz ją na nich:

Temperatura	Rzeczywista sprzedaż	Prognoza linii	Pomyłka bez znaku
19°C	19 porcji	18 porcji	1 porcja
26°C	31 porcji	32 porcje	1 porcja

Średnia pomyłka wynosi (1 + 1) / 2 = 1 porcję. To ocena wybranej reguły na tych dwóch dniach. Sam test niczego w niej nie zmienił. Dane są wymyślone, a dwie obserwacje wystarczają tutaj tylko do pokazania rachunku.

Co, jeśli po zobaczeniu wyniku poprawisz linię tak, żeby trafiła także w te dni? Zaczynasz używać ich do rozwoju rozwiązania. Ponowne sprawdzenie na nich nie daje już niezależnej oceny poprawionej wersji. Potrzebujesz nowych, niewykorzystanych danych. Podręcznik zwraca uwagę, że podobny problem powstaje, gdy przez lata dobiera się rozwiązania do tego samego publicznego testu (§5.3).

Co ten wynik pozwala powiedzieć

Test ma odzwierciedlać warunki, w których reguła będzie używana. Ocena na letnich dniach w mieście nie wystarczy do przewidywania zimowej sprzedaży nad morzem. W podstawowym ujęciu zakładamy niezależne przykłady pochodzące z tego samego rodzaju warunków co dane uczące (§5.2). Kopia dnia z zeszytu nie staje się niezależnym przykładem przez przeniesienie do innego pliku.

Mały zbiór daje niepewny wynik: jeden nietypowy dzień może mocno zmienić średnią (§5.3.1). Test Set jest pomiarem na określonej próbce, nie obietnicą zachowania w każdej sytuacji.

• Validation Set służy do wyboru reguły. W jego demonstracji możesz zamknąć wybór przed odsłonięciem końcowego testu z tymi samymi dwoma dniami.
• Overfitting opisuje nadmierne dopasowanie do danych uczących; osobny test pomaga ujawnić różnicę względem nowych danych.
• Przy Fine-tuning, czyli dalszej nauce gotowego modelu, potrzebujesz oceny, na którą ta nauka i wybór ustawień nie miały wpływu.

Tekst i ilustrację przygotowano z pomocą AI. Przykład sprzedaży jest własnym uproszczeniem; ilustracja przedstawia metaforę ustalonego rozwiązania sprawdzanego na osobnym materiale.