Hasło słownika · · 2 min czytania
Early Stopping
Prowadzisz serwis rowerowy i chcesz szacować koszt naprawy po krótkim opisie usterki. Model uczy się na starych zleceniach, których rzeczywisty koszt znasz. Po kolejnych rundach nauki przeciętna pomyłka na tych zleceniach spada z 18 do 4 zł. Czy ostatnia wersja najlepiej wyceni następny rower? Z samej poprawy na znanych zleceniach tego nie odczytasz. Model mógł dopasować się do przypadkowych szczegółów dawnych napraw.
Odkładasz więc część zleceń do Validation Set. Model się na nich nie uczy. Służą do porównywania kolejnych wersji. Po każdej rundzie sprawdzasz, o ile złotych szacunki różnią się średnio od rzeczywistych kosztów. Early Stopping polega na użyciu takich kontroli do podjęcia decyzji, kiedy przerwać uczenie. W wariancie poniżej zapisujesz wersję z najniższym dotąd błędem na odłożonych zleceniach, a trening kończysz po ustalonej liczbie kontroli bez nowego rekordu. Tę regułę opisuje Deep Learning, §7.8, algorytm 7.1.
Ostatnia runda i najlepszy zapis
| Runda | Pomyłka na zleceniach do nauki | Pomyłka na odłożonych zleceniach |
|---|---|---|
| 1 | 18 zł | 20 zł |
| 2 | 12 zł | 14 zł |
| 3 | 8 zł | 16 zł |
| 4 | 6 zł | 12 zł |
| 5 | 5 zł | 13 zł |
| 6 | 4 zł | 15 zł |
To wymyślone wyniki jednego przebiegu. Przy limicie dwóch kontroli bez poprawy po rundzie 3 dajesz modelowi jeszcze szansę. W rundzie 4 błąd spada do 12 zł, więc zapisujesz tę wersję i zerujesz licznik. Rundy 5 i 6 nie pobijają rekordu. Kończysz po rundzie 6 i wracasz do zapisu z rundy 4.
Sprawdź krótszy limit
Co się stanie, jeśli wystarczy jedna kontrola bez poprawy? Zmień limit w demonstracji. Program stosuje regułę do liczb z tabeli.
Przy limicie jednej kontroli trening kończy się po rundzie 3 i zachowujesz wersję z rundy 2. Tracisz szansę na późniejszą poprawę. W prawdziwym treningu wyniki też potrafią falować. Zanim zatrzymasz model, nie wiesz, czy za następnym zakrętem czeka lepszy wynik. Prechelt pokazuje taki przebieg w §1.3, na rysunku 2.
Early Stopping to forma Regularization, czyli zmiany sposobu uczenia mającej pomóc na nowych danych. Ograniczenie czasu nauki może osłabić Overfitting, czyli nadmierne dopasowanie do znanych zleceń. Ponieważ odłożone zlecenia posłużyły już do wyboru wersji, końcową ocenę zrób na osobnej puli napraw, czyli Test Set.
Tekst i ilustrację przygotowano z pomocą AI. Wyniki w tabeli są własnym przykładem.