Regularization

Prowadzisz budkę z lodami. Z dziesięciu zapisanych dni komputer układa regułę przewidującą sprzedaż z temperatury. Pozwalasz mu wyginać krzywą, aż trafi w każdy zapis. Niestety, pomiędzy zapisanymi temperaturami krzywa gwałtownie skacze. Chcesz przewidzieć jutrzejszy zapas, a samo zmniejszanie pomyłek w zeszycie nie mówi, które zakręty opisują popyt, a które przypadkowy dzień.

Możesz zmienić zasady nauki: dobre dopasowanie nadal się liczy, ale nie każda poprawa wyniku w zeszycie jest warta dodatkowej giętkości. Regularization to rodzina zmian w sposobie uczenia, których celem jest zmniejszenie błędów na nowych danych, nawet kosztem gorszego dopasowania do danych użytych do nauki (Goodfellow, Bengio i Courville, Deep Learning, §5.2.2). To cel metody, nie gwarancja poprawy.

Zmień to, za co nagradzasz regułę

W naszym przykładzie krzywą opisują współczynniki, czyli liczby ustalające jej kształt. Podczas dopasowania można doliczać karę za duże wartości tych liczb: podnieść każdą do kwadratu i zsumować wyniki. Kwadrat sprawia, że duże wartości ujemne też kosztują. W odpowiednio dobranym zapisie krzywej taka kara ogranicza gwałtowne wygięcia.

Wybieramy wtedy mniejszą wartość „błąd na zapisanych dniach + siła kary × kara”, zamiast samego błędu. Ten sposób zmiany celu uczenia opisuje Deep Learning, §7.1, równanie 7.1.

Rozważ dwie umowne propozycje: krzywa A ma wynik błędu 0 i karę 100, krzywa B — błąd 4 i karę 4. Przy sile kary 0,1 łączny koszt wynosi odpowiednio 0 + 0,1 × 100 = 10 oraz 4 + 0,1 × 4 = 4,4. Wygrywa B. Liczby są wymyślonym przykładem porównania kosztów, nie pomiarem sprzedaży ani wynikiem demonstracji. Wiemy, dlaczego wybrano B; nie wiemy jeszcze, czy lepiej przewidzi jutro.

Sprawdź, czy ograniczenie pomaga

Zbyt silna kara może spłaszczyć także prawdziwy wzrost popytu wraz z temperaturą. Jej siłę dobierasz na Validation Set: osobnych dniach używanych do wyboru ustawień, a nie do dopasowania współczynników. Założenie o pożądanym kształcie reguły może być nietrafne.

• Overfitting opisuje nadmierne dopasowanie do minionych dni. W jego eksperymencie ustaw giętką krzywą, odsłoń nowe dni i zwiększaj karę: porównaj oba błędy. Sprawdź też, kiedy dalsze zwiększanie kary zaczyna szkodzić. Demonstracja dopasowuje rzeczywistą krzywą do symulowanych danych; nie trenuje modelu językowego.
• Weight decay przyciąga wagi, czyli liczby sterujące obliczeniami modelu, w stronę zera. To jedna z technik używanych w tym celu; Regularization jest pojęciem szerszym niż pojedyncza kara czy reguła kurczenia wag.

W oryginalnym Transformerze stosowano także inne techniki z tej rodziny (Vaswani i in., Attention Is All You Need, §5.4). Przykład z lodami wyjaśnia jedną postać mechanizmu, nie receptę dla każdego dużego modelu językowego (LLM).

Tekst i ilustrację przygotowano z pomocą AI. Porównanie kosztów jest własnym uproszczeniem.