Słownik

Hasło słownika · · 3 min czytania

GradNorm

Model czyta „Paczka nie dotarła, potrzebuję jej na jutro” i uczy się dwóch rzeczy: wybierać dział oraz rozpoznawać pilność. Każdą umiejętność oceniamy stratą, czyli liczbą opisującą błąd; mniej znaczy lepiej. Po pewnym czasie strata działu spadła z 1 do 0,2, a pilności pozostała na 1. Stałe współczynniki przy obu stratach nie reagują na to, że jedno zadanie robi postępy, a drugie stoi w miejscu.

GradNorm to metoda automatycznego dostosowywania tych współczynników podczas wspólnej nauki. Sprawdza względny spadek strat oraz siłę sygnałów zmieniających wspólne ustawienia modelu. Jest więc adaptacyjnym wariantem Task Weighting, czyli regulowania udziału zadań w celu uczenia. Algorytm opisują Chen et al., §3 i algorytm 1.

Dwa nakręcane ślimaki na równoległych torach: pozostający z tyłu ma większy kluczyk, a wysunięty naprzód mniejszy. To metafora wzmacniania sygnału wolniej uczącego się zadania.

Równa siła nie oznacza równego postępu

Gradient opisuje, jak strata reaguje na drobne zmiany ustawień modelu. Jego norma to jedna liczba mierząca wielkość tego sygnału, bez informacji o kierunku. GradNorm porównuje normy dla tej samej wybranej części wspólnych ustawień, zwykle ostatniej wspólnej warstwy obliczeń.

W naszym przykładzie dla obu zadań przyjmijmy bieżącą normę równą 3, już po uwzględnieniu współczynników. Sygnały są równie duże, ale dział zmniejszył stratę do 20% początkowej wartości, a pilność nadal ma 100%. Średnia tych proporcji wynosi 60%. Podzielenie każdej przez średnią daje odpowiednio 1/3 i 5/3: większa liczba wskazuje wolniejszy względny postęp.

Przy ustawieniu siły wyrównywania α = 1 GradNorm wyznacza docelowe normy 3 × 1/3 = 1 dla działu oraz 3 × 5/3 = 5 dla pilności. Koryguje współczynniki tak, by zbliżać sygnały do tych celów; nie przestawia norm natychmiast na zadane wartości. Po aktualizacji skaluje współczynniki tak, aby ich suma pozostała równa liczbie zadań.

To własne, wymyślone liczby. Zmiana dotyczy wpływu zadań na dalszą naukę, nie pewności pojedynczej odpowiedzi. Mechanizm należy do Multi-task Learning, gdzie kilka zadań korzysta ze wspólnej części modelu.

Zmień regułę wyrównywania

Cel obliczamy ze wzoru z §3.2, równanie 1:

Gicel=Gˉ riαG_i^{\mathrm{cel}}=\bar G\,r_i^{\alpha}

Gˉ\bar G to średnia bieżących norm (3), a rir_i to proporcja pozostałej straty zadania podzielona przez średnią takich proporcji. Parametr α\alpha reguluje, jak mocno różnice postępu zmieniają cele. Przy α = 0 oba cele wynoszą 3, mimo różnego postępu. W demonstracji przełącz α, a potem zamień postępy zadań: czy cel podąża za nazwą zadania, czy za jego postępem?

Wartości w eksperymencie pokazują wyłącznie obliczanie celów dla jednego momentu nauki; nie symulują aktualizacji modelu.

Gdzie reguła może zawieść

Brak postępu może wynikać z zadania, którego model nie potrafi się nauczyć. Wtedy reguła może uporczywie zwiększać jego udział. Autorzy opisują taki problem w dodatku §7.2. Ponadto zmiana wielkości sygnałów nie usuwa sprzecznych kierunków; tym zajmuje się Gradient Surgery. Eksperymenty pracy dotyczą danych syntetycznych i obrazów; wiadomość o paczce jest naszym przykładem, nie wynikiem dla LLM.

Tekst i ilustrację przygotowano z pomocą AI.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.