Validation Set

Prowadzisz budkę z lodami i chcesz przewidywać dzienną sprzedaż z temperatury. Masz trzy zapisane dni: przy 20°C sprzedano 20 porcji, przy 22°C — 30, a przy 24°C — 28. Sprawdzasz trzy reguły: zawsze 24 porcje, prostą linię oraz krzywą przechodzącą dokładnie przez wszystkie trzy wyniki. Ostatnia nie popełnia w zeszycie ani jednego błędu. Czy powinna planować jutrzejszy zapas?

Tego nie rozstrzygnie ponowne sprawdzenie tych samych dni. Giętka reguła mogła dopasować się także do przypadku, choćby wyjątkowo licznej wycieczki przy 22°C. Zanim zaczniesz dobierać regułę, odkładasz inne dni do porównania kandydatów. Validation Set to wydzielona część danych używana do wyboru modelu lub jego ustawień, a nie do dopasowywania jego uczonych liczb. Taki podział opisują Goodfellow, Bengio i Courville, Deep Learning, §5.3.

Zeszyt do nauki, osobne dni do wyboru

Reguły i ich liczby ustalamy wyłącznie na danych uczących. Linia przewiduje dwukrotność temperatury minus 20. Krzywa jest łukiem dobranym do trzech punktów z zeszytu. Średni błąd bezwzględny oznacza tutaj: policz, o ile porcji pomyliła się prognoza każdego dnia, pomiń znak i uśrednij.

Na odłożonych dniach 21°C, 23°C i 25°C sprzedano odpowiednio 23, 25 i 31 porcji. Krzywa przewiduje 26,5, 30,5 i 22,5; jej średni błąd wynosi około 5,83 porcji. Linia przewiduje 22, 26 i 30: błąd to 1 porcja. Na tej podstawie wybieramy linię, choć w zeszycie przegrywała 2 do 0. Validation Set nie poprawił żadnej reguły; pomógł wybrać spośród trzech. Dane są wymyślone, a ułamkowe prognozy oznaczają oczekiwaną sprzedaż, nie dzielenie jednej porcji.

Po wyborze potrzebna jest jeszcze końcowa ocena

Dni wykorzystane do wyboru już wpłynęły na decyzję. Dlatego trzecia, rozłączna część danych — test set — służy dopiero do oceny ustalonego rozwiązania. W przykładzie linia na dwóch wcześniej nieodsłoniętych dniach myli się średnio o 1 porcję. Jeżeli po obejrzeniu tego wyniku zmienisz regułę, te dni również zaczynają służyć wyborowi; tracą rolę niezależnego testu (§5.3).

To ważne ograniczenie: po wielu próbach można dopasować wybór do samego Validation Set i uzyskać zbyt optymistyczny wynik. Trzy odłożone dni są tu tylko pomocą dydaktyczną, nie wiarygodną oceną rzeczywistej sprzedaży. Żaden ustalony procent podziału nie gwarantuje dobrego pomiaru.

• Overfitting opisuje nadmierne dopasowanie do przykładów uczących; osobne dane pomagają zauważyć jego skutek.
• Fine-tuning jest dalszą nauką gotowego modelu; Validation Set może służyć do wyboru ustawień tej nauki.
• Cross-entropy to inny sposób liczenia błędu, często używany dla przewidywanego tekstu; rozdział ról danych pozostaje taki sam.

Tekst i ilustrację przygotowano z pomocą AI. Dane, reguły i demonstracja są własnym uproszczonym przykładem; ilustracja jest metaforą wyboru i zachowania osobnej próbki.