Tego nie rozstrzygnie ponowne sprawdzenie tych samych dni. Giętka reguła mogła dopasować się także do przypadku, choćby wyjątkowo licznej wycieczki przy 22°C. Zanim zaczniesz dobierać regułę, odkładasz inne dni do porównania kandydatów. Validation Set to wydzielona część danych używana do wyboru modelu lub jego ustawień, a nie do dopasowywania jego uczonych liczb. Taki podział opisują Goodfellow, Bengio i Courville, Deep Learning, §5.3.

Zeszyt do nauki, osobne dni do wyboru

Reguły i ich liczby ustalamy wyłącznie na danych uczących. Linia przewiduje dwukrotność temperatury minus 20. Krzywa jest łukiem dobranym do trzech punktów z zeszytu. Średni błąd bezwzględny oznacza tutaj: policz, o ile porcji pomyliła się prognoza każdego dnia, pomiń znak i uśrednij.

Na odłożonych dniach 21°C, 23°C i 25°C sprzedano odpowiednio 23, 25 i 31 porcji. Krzywa przewiduje 26,5, 30,5 i 22,5; jej średni błąd wynosi około 5,83 porcji. Linia przewiduje 22, 26 i 30: błąd to 1 porcja. Na tej podstawie wybieramy linię, choć w zeszycie przegrywała 2 do 0. Validation Set nie poprawił żadnej reguły; pomógł wybrać spośród trzech. Dane są wymyślone, a ułamkowe prognozy oznaczają oczekiwaną sprzedaż, nie dzielenie jednej porcji.

Po wyborze potrzebna jest jeszcze końcowa ocena

Dni wykorzystane do wyboru już wpłynęły na decyzję. Dlatego trzecia, rozłączna część danych — test set — służy dopiero do oceny ustalonego rozwiązania. W przykładzie linia na dwóch wcześniej nieodsłoniętych dniach myli się średnio o 1 porcję. Jeżeli po obejrzeniu tego wyniku zmienisz regułę, te dni również zaczynają służyć wyborowi; tracą rolę niezależnego testu (§5.3).

To ważne ograniczenie: po wielu próbach można dopasować wybór do samego Validation Set i uzyskać zbyt optymistyczny wynik. Trzy odłożone dni są tu tylko pomocą dydaktyczną, nie wiarygodną oceną rzeczywistej sprzedaży. Żaden ustalony procent podziału nie gwarantuje dobrego pomiaru.

• Overfitting opisuje nadmierne dopasowanie do przykładów uczących; osobne dane pomagają zauważyć jego skutek.
• Fine-tuning jest dalszą nauką gotowego modelu; Validation Set może służyć do wyboru ustawień tej nauki.
• Cross-entropy to inny sposób liczenia błędu, często używany dla przewidywanego tekstu; rozdział ról danych pozostaje taki sam.

Tekst i ilustrację przygotowano z pomocą AI. Dane, reguły i demonstracja są własnym uproszczonym przykładem; ilustracja jest metaforą wyboru i zachowania osobnej próbki.

Najprostsza reguła to prosta linia: „każdy stopień więcej to kilka gałek więcej”. W przykładzie z tej notatki myli się ona na zapisanych dniach typowo o 27,5 gałki, bo nie widzi, że w największy upał sprzedaż spada. Można więc dać regule więcej swobody i pozwolić krzywej zakręcać. Najbardziej giętka z wypróbowanych krzywych przechodzi dokładnie przez wszystkie 10 punktów. Jej błąd na dniach z zeszytu wynosi 0.

Wygląda to na regułę idealną. Tyle że dni z zeszytu już minęły, a reguła ma działać jutro. Na 400 nowych dniach z tej samej budki „idealna” krzywa myli się typowo o 236,5 gałki. Umiarkowanie giętka krzywa, która na zeszycie wypadała gorzej (10,9), na nowych dniach myli się o 16,8.

Overfitting to sytuacja, w której model ma mały błąd na danych użytych do nauki, a zbyt duży w porównaniu z nim błąd na nowych danych tego samego rodzaju (Goodfellow, Bengio i Courville, Deep Learning, §5.2). Model dopasował się do cech swojego zbioru, które poza nim się nie powtarzają. Odwrotny kłopot nazywa się underfitting: reguła jest za prosta, żeby dobrze opisać nawet dane, które widziała. Tak zachowuje się prosta linia z naszego przykładu.

Skąd bierze się ta różnica

Każdy zapis w zeszycie składa się z dwóch rzeczy: prawidłowości (cieplej, więc więcej lodów) i przypadku (akurat przyjechała wycieczka). Reguła ma uchwycić pierwszą, a drugą pominąć. Model nie wie jednak, co jest czym. Widzi tylko punkty.

O tym, ile przypadku model wchłonie, decyduje jego giętkość, w literaturze nazywana capacity: zdolność dopasowania się do wielu różnych kształtów. Krzywą w przykładzie opisuje od 2 do 10 liczb, które dobiera się do danych; ich liczba to stopień krzywej plus jeden. Krzywa stopnia 9 ma 10 takich liczb na 10 dni, więc potrafi trafić w każdy punkt, razem z całym przypadkiem. Autorzy podręcznika opisują to tak: bardzo giętki model może przedstawić właściwą zależność, ale także mnóstwo innych, równie dobrze pasujących do danych uczących, i mała jest szansa, że wybierze akurat tę, która sprawdzi się dalej (§5.2).

Typowy przebieg jest następujący: gdy giętkość rośnie, błąd na danych uczących maleje, a błąd na nowych danych najpierw maleje, potem zaczyna rosnąć (§5.2, rysunek 5.3). Wynika z tego praktyczna zasada. Modelu nie ocenia się na danych, na których się uczył, a giętkości nie dobiera się według błędu na tych danych, bo ten zawsze wskaże największą. Część danych odkłada się na bok: validation set służy do wyboru ustawień, a osobny test set do końcowej oceny (§5.3).

Sprawdź sam

Poniżej jest ta sama budka. Wszystkie liczby z tej notatki można odtworzyć: po kliknięciu „Od początku” widać 10 dni, a eksperymenty 1–5 ustawiają opisane przypadki.

Warto zrobić dwie rzeczy, których nie pokazuje statyczny wykres. Po pierwsze, włącz „24 inne zeszyty” i zmieniaj stopień: przy niskim szare linie trzymają się blisko siebie, przy wysokim rozchodzą się na wszystkie strony, choć każda pochodzi z tej samej budki. Po drugie, przeciągnij jeden punkt wysoko w górę. Krzywa stopnia 2 przesunie się tylko trochę, a krzywa stopnia 9 przebuduje się na całej długości, żeby w niego trafić.

Co pomaga

• Więcej danych. Przy 80 dniach ta sama krzywa stopnia 9 myli się typowo o 14,8 gałki na zeszycie i o 15,9 na nowych dniach. Różnica prawie znika, bo krzywa nie może już trafić w każdy punkt (§5.2).
• Mniejsza giętkość. Krzywa stopnia 3 na 10 dniach: 10,9 na zeszycie, 16,8 na nowych dniach.
• Regularization, czyli zmiana sposobu uczenia, która ma zmniejszyć błąd na nowych danych, a nie na uczących (§5.2.2). Przykładem jest kara za duże współczynniki, spokrewniona z Weight decay: krzywa stopnia 9 z karą λ = 0,01 myli się o 5,8 na zeszycie i o 21,2 na nowych dniach, zamiast o 236,5.

Żadnego z tych ustawień nie da się wybrać, patrząc tylko na błąd na danych uczących.

Ograniczenia

• To własny przykład z jedną wielkością wejściową i symulowanymi danymi. Sam przypadek daje tu typowo 15 gałek błędu i żadna reguła nie zejdzie niżej na nowych dniach.
• Kształt „najpierw lepiej, potem gorzej” jest typowy, a nie gwarantowany. Autorzy zaznaczają, że w głębokich sieciach trudno nawet ustalić faktyczną giętkość modelu, bo zależy ona też od algorytmu uczenia (§5.2). Liczba parametrów LLM nie mówi więc sama, czy model jest przeuczony.
• Mały błąd na nowych danych dotyczy danych z tego samego źródła. Jeśli budka przeniesie się nad morze, zeszyt z miasta niczego nie obiecuje.

Powiązania

• Weight decay ogranicza wielkość wag i jest jednym ze sposobów na zmniejszenie różnicy między błędem na danych uczących i nowych.
• Grokking opisuje przypadki, w których model wyglądający na przeuczony po długim dalszym treningu zaczyna dobrze działać na nowych danych.
• Fine-tuning na małym zbiorze wymaga tej samej kontroli: osobnych danych, których model nie widział podczas nauki.
• Catastrophic Forgetting to inny problem: tam model traci dawną umiejętność po nowej nauce, a tu od początku słabo przenosi się poza własne dane uczące.

Dla wariantu 50% zbieramy udane i nieudane próby agenta na zadaniach o różnych czasach człowieka. Dopasowujemy krzywą szans sukcesu, a następnie odczytujemy czas, przy którym przecina ona 50%. To przewidywanie dla rozkładu zadań o danym czasie; nie oznacza, że każde z nich ma taką samą szansę wykonania. METR: definicja i metodologia.

Przykład dydaktyczny: jeżeli dopasowana krzywa osiąga 50% przy dwóch godzinach, to dwie godziny są horyzontem. Agent może wykonać udane zadanie znacznie szybciej. Wynik sam nie określa też, z jaką skutecznością zrobi zadanie z innej dziedziny.

Odczyt wymaga sensownej zależności między czasem człowieka a trudnością dla AI. Gdy krzywa jest płaska, mała zmiana szans może bardzo przesunąć jej przecięcie z progiem. Artykuł o przeliczaniu horyzontu METR pokazuje ten problem na policzalnym przykładzie i omawia nowe dopasowanie do danych METR. Nguyen i Fithian, §2–3.

Przy porównywaniu horyzontów trzeba zachować informację o zestawie zadań, środowisku agenta, budżecie prób i przyjętym progu skuteczności.

Załóżmy, że dwóch agentów rozwiązuje te same trzy zadania. Pierwszy zwykle radzi sobie z A i B, drugi także z C. Sam procent sukcesów daje ranking. IRT próbuje dodatkowo oszacować, jak trudne jest C względem pozostałych zadań i jaka różnica możliwości wyjaśnia wzorzec odpowiedzi. To przykład dydaktyczny; tak mała tabela nie wystarcza do wiarygodnego dopasowania.

W prostym modelu Rascha szansa sukcesu rośnie, gdy możliwości agenta są większe względem trudności zadania. Obie wielkości są ukryte: wnioskujemy o nich z wyników, zamiast od razu utożsamiać trudność z długością instrukcji albo czasem człowieka. Różne warianty IRT dodają kolejne parametry i założenia.

W analizie horyzontów METR autorzy wiążą ukrytą trudność z czasem pracy człowieka za pomocą uczonej krzywej. Dodają efekty rodzin zadań i zróżnicowanie wyników powtórek. Pozwala to sprawdzić, w którym zakresie czas rzeczywiście rozróżnia zadania trudne i łatwe dla AI. Nguyen i Fithian, §2.3 i §3.1.

Dobre przewidywanie odpowiedzi nie dowodzi, że wyuczony parametr obejmuje wszystkie rodzaje możliwości agenta. Przy interpretacji trzeba sprawdzać założenia modelu i wyniki na zadaniach niewykorzystanych podczas dopasowania.

Można uczyć model reklamacji bez żadnych ograniczeń. Wtedy wagi przesuwają się tam, gdzie pomaga to nowemu zadaniu, również te, od których zależało rozpoznawanie dostawy i zwrotów. Można też ukarać każdą zmianę jednakowo, ale wtedy model trzyma się starych ustawień tak mocno, że słabo uczy się nowego. Potrzebna jest odpowiedź na pytanie: które wagi wolno ruszać, a których lepiej nie?

Elastic Weight Consolidation (EWC) dodaje do nauki nowego zadania karę za oddalanie się wag od wartości po starym zadaniu, przy czym kara jest tym większa, im ważniejsza była dana waga dla starego zadania. Autorzy porównują to do sprężyny przypiętej do każdej wagi: sztywnej przy wagach ważnych, luźnej przy pozostałych (Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §2).

Dwie wagi, jedno nowe zadanie

Weźmy tylko dwie wagi. Po nauce dostawy i zwrotów obie mają wartość 1. Pierwsza jest dla starych działów bardzo ważna (ważność 10), druga prawie obojętna (ważność 0,1). Nowe zadanie wymaga jedynie, żeby suma obu wag wyniosła 4. Spełnia to wiele ustawień: (2, 2), ale też (1, 3).

• Bez ochrony nauka przesuwa obie wagi po równo, do (2, 2). Nowe zadanie jest opanowane, ale ważna waga odjechała o 1 i strata na starym zadaniu rośnie od 0 do 5,05.
• Jednakowa kara dla obu wag zatrzymuje je w pół drogi, przy (1,67, 1,67). Stare zadanie cierpi mniej, ale suma to 3,33 zamiast 4.
• EWC przenosi prawie cały ruch na mało ważną wagę: (1,02, 2,80). Suma wynosi 3,82, a strata na starym zadaniu to tylko 0,16.

Strata to liczba mówiąca, jak bardzo model się myli; im mniejsza, tym lepiej. W eksperymencie poniżej możesz zmieniać siłę kary λ i sposób ochrony. Wynik jest liczony dokładnie dla tego dwuwagowego przykładu; to nie symulacja prawdziwej sieci.

Skąd wiadomo, która waga jest ważna

W prawdziwej sieci nikt nie podaje ważności z góry. Szacuje się ją po zakończeniu starego zadania, dopóki jego dane są jeszcze dostępne: sprawdza się, jak mocno drobna zmiana danej wagi zmienia odpowiedzi modelu na starych przykładach. Praca używa do tego przekątnej macierzy informacji Fishera, czyli jednej liczby ważności na każdą wagę. Potem dane można usunąć; zostają stare wartości wag i ich ważności.

Podczas nowej nauki minimalizowana jest suma dwóch składników (równanie 3 w pracy):

$L_B$ to strata na nowym zadaniu, $\theta_i$ to bieżąca wartość wagi numer $i$, $\theta^*_{A,i}$ jej wartość po starym zadaniu, $F_i$ jej ważność, a $\lambda$ mówi, jak bardzo stare zadanie liczy się wobec nowego. W naszym przykładzie $F = (10;\ 0{,}1)$ i $\lambda = 1$.

Granice metody

Ważność jest przybliżeniem liczonym w jednym punkcie, osobno dla każdej wagi. Sami autorzy pokazują, że ich oszacowanie bywa zbyt pewne co do tego, które wagi są nieistotne, i nazywają to główną słabością metody (§2.2 i §3). W ich eksperymentach z grami Atari agent z EWC uczył się wielu gier po kolei, ale nie dorównał osobnym sieciom uczonym dla każdej gry. Wyniki dotyczą rozpoznawania cyfr i gier, nie dużych modeli językowych. Nasze dwie wagi i wiadomości od klientów są własnym uproszczeniem.

• Catastrophic Forgetting to znaczne pogorszenie dawnych umiejętności po nowej nauce; EWC próbuje je ograniczyć bez dostępu do starych danych.
• Experience Replay rozwiązuje ten sam problem inaczej: przechowuje część dawnych przykładów zamiast ważności wag.
• Continual Learning określa cel, czyli naukę kolejnych zadań z zachowaniem wcześniejszych; EWC jest jedną z metod.
• Fine-tuning to dalsze uczenie gotowego modelu; EWC zmienia jego cel, dodając karę za ruszanie ważnych wag.

Tekst i ilustrację przygotowano z pomocą AI. Dwie wagi, ich ważności i demonstracja są własnym uproszczonym przykładem edukacyjnym; ilustracja jest metaforą, nie schematem budowy modelu.

Zostawić pierwsze cztery? Wtedy pamięć zna tylko początek. Trzymać zawsze cztery ostatnie? Wtedy zna tylko koniec. Uczciwe losowanie „czterech z całości” wymagałoby przechowania wszystkiego albo znajomości liczby wiadomości z góry. Pytanie brzmi: jak przy stałej liczbie miejsc i nieznanej długości strumienia dać każdej wiadomości tę samą szansę?

Reservoir Sampling to sposób utrzymywania losowej próbki o stałej wielkości podczas jednego przejścia przez dane, których liczby nie znamy z góry. Po każdej kolejnej wiadomości pamięć, nazywana tu rezerwuarem, zawiera uczciwą losową próbkę wszystkiego, co do tej pory przyszło. Najprostszą wersję, Algorithm R, opisuje Vitter, Random Sampling with a Reservoir, §2, przypisując ją Alanowi Watermanowi.

Przepis w dwóch krokach

1. Pierwsze cztery wiadomości trafiają do pamięci bez losowania.
2. Wiadomość numer $t$ (piąta, szósta i każda następna) dostaje się do pamięci z szansą $4/t$. Jeśli się dostała, zastępuje jedną z czterech zapisanych, wybraną losowo.

Piąta wiadomość wchodzi więc z szansą 4/5, setna z szansą 4/100. Nowe wiadomości mają coraz mniejszą szansę wejścia, ale stare były już wielokrotnie narażone na wyrzucenie, i te dwa efekty dokładnie się równoważą. Sprawdźmy to po piątej wiadomości. Wchodzi z szansą 4/5. Pierwsza wiadomość wypada tylko wtedy, gdy piąta weszła (4/5) i trafiła akurat na jej miejsce (1/4), czyli z szansą 1/5. Zostaje z szansą 4/5: taką samą, jaką ma piąta. Po $t$ wiadomościach każda z nich jest w pamięci z szansą $4/t$.

Równa szansa to nie gwarancja

W eksperymencie strumień ma 20 wiadomości. Osiemnaście dotyczy dostawy, a dwie, dziewiąta i piętnasta, dotyczą zwrotów. Każde uruchomienie przepuszcza taki strumień 2000 razy i liczy, jak często dana pozycja została w pamięci na końcu. Losowania są prawdziwe, więc wyniki za każdym razem różnią się o ułamek procenta.

Przy Reservoir Sampling każdy słupek ma około 20%, czyli 4/20. Jednocześnie w większości przebiegów żaden z dwóch zwrotów nie zostaje w pamięci. Dokładna wartość to 3060/4845, czyli około 63%: tyle spośród wszystkich czwórek wybranych z 20 wiadomości składa się wyłącznie z osiemnastu wiadomości o dostawie. Metoda jest uczciwa wobec pojedynczych wiadomości, ale nie pilnuje, żeby każda kategoria miała przedstawiciela.

Gdzie to ma znaczenie

W uczeniu z powtórkami Reservoir Sampling bywa sposobem zapisu do bufora: nie trzeba znać długości strumienia ani granic między zadaniami. Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, algorytm 2 używają go właśnie tak. W ich eksperymentach na zadaniach obrazowych sprawdzał się dobrze, z wyjątkiem bardzo małych pamięci, gdzie z bufora znikały wcześniejsze klasy; lepiej wypadały wtedy strategie dbające o równą reprezentację klas (§4.4). To wynik dla klasyfikacji obrazów, nie dla LLM.

Sam algorytm nie dotyczy uczenia maszynowego. Praca Vittera z 1985 roku opisuje losowanie rekordów z taśmy magnetycznej o nieznanej długości i proponuje szybsze warianty, które zamiast losować przy każdym rekordzie wyliczają, ile rekordów pominąć. Wiadomości od klientów i strumień 20 pozycji są własnym przykładem.

• Experience Replay potrzebuje bufora z dawnymi przykładami; Reservoir Sampling jest jednym ze sposobów decydowania, co do niego trafia.
• Continual Learning zakłada naukę ze strumienia danych przy ograniczonej pamięci, czyli sytuację, w której nie da się zachować wszystkiego.
• Catastrophic Forgetting może się nasilić, gdy z małej pamięci wypadną wszystkie przykłady dawnej kategorii.

Tekst i ilustrację przygotowano z pomocą AI. Strumień wiadomości i demonstracja są własnym uproszczonym przykładem edukacyjnym; ilustracja jest metaforą, nie schematem algorytmu.

Experience Replay (ER) polega na przechowywaniu części wcześniejszych przykładów i ponownym używaniu ich do uczenia. W prostym wariancie do porcji nowych danych domieszamy przykłady z pamięci, nazywanej replay buffer. To pojemnik na dane do powtórek, nie zapis całej wiedzy modelu. Takie wspólne uczenie opisują Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, algorytm 1.

Co trafia do kolejnego ćwiczenia

Przed utratą archiwum zapisaliśmy cztery wiadomości wraz z poprawnymi działami. Teraz mamy cztery nowe reklamacje. Bez powtórek model uczy się na czterech nowych wiadomościach. Z powtórkami ćwiczy również na czterech dawnych: otrzymuje ponownie sygnał, że „Gdzie jest paczka?” należy do dostawy. W tym małym przykładzie wykorzystujemy cały bufor; większe bufory zwykle dostarczają losowaną porcję.

Nie wystarczy jednak policzyć miejsc w pamięci. Cztery zapisane pytania o dostawę nie zawierają ani jednego przykładu zwrotu. Po zamianie dwóch z nich na „Jak odesłać zakup?” i „Chcę zwrócić koszulę” liczba powtórek pozostaje taka sama, ale obejmuje oba wcześniejsze działy. Poniższy eksperyment liczy przykłady w porcji danych; nie przewiduje trafności modelu.

Powtórki pomagają tylko na dostępnych danych

Model dostaje okazję ćwiczenia wcześniejszych odpowiedzi, lecz nie gwarancję zachowania wszystkich umiejętności. Losowa mała próbka może całkiem pominąć rzadką kategorię; taki problem badacze obserwowali przy bardzo małych buforach (§4.4 tej samej pracy). Nasze wiadomości są własnym przykładem, nie wynikiem tych eksperymentów. Skutek nauki trzeba sprawdzić na osobnych starych i nowych wiadomościach, nieużywanych do treningu. Bufor zajmuje też pamięć i wymaga zachowania wybranych danych.

Zobacz także: Reservoir Sampling — sposób decydowania, które przykłady ze strumienia trafiają do bufora o stałej wielkości, dający każdemu równą szansę.

W grach, w Reinforcement Learning — uczeniu działań na podstawie nagród — zachowuje się sytuację, działanie, nagrodę i następną sytuację. Losowanie takich zapisów ogranicza zależność od bezpośrednio następujących po sobie zdarzeń (Mnih et al., Human-level control through deep reinforcement learning, Methods, „Training algorithm for deep Q-networks”). To inne dane niż wiadomość z poprawnym działem; wyników z Atari nie należy przenosić wprost na LLM.

• Continual Learning określa cel dalszej nauki z zachowaniem wcześniejszych zdolności; ER jest jednym ze sposobów jego realizacji.
• Catastrophic Forgetting opisuje znaczne pogorszenie dawnych umiejętności, które powtórki mogą ograniczać.
• Fine-tuning jest dalszym uczeniem modelu; replay zmienia dobór jego danych. Samo wklejenie dawnych wiadomości do rozmowy nie jest taką aktualizacją modelu.

Tekst i ilustrację przygotowano z pomocą AI. Wiadomości i demonstracja są własnym uproszczonym przykładem edukacyjnym; ilustracja jest metaforą, nie schematem budowy modelu.

Potrzebujesz uczyć model kolejnych rzeczy, zachowując wcześniejsze umiejętności. To cel Continual Learning: uczenia na napływających kolejno danych lub zadaniach, z uwzględnieniem tego, czego model nauczył się wcześniej. Nazwa określa problem i rodzinę podejść; nie gwarantuje braku zapominania. Taką potrzebę opisują Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §1.

Co zmieniamy w nauce i sprawdzaniu

Załóżmy, że pełne archiwum przykładów użytych do wcześniejszego uczenia nie jest już dostępne. Przed jego usunięciem zachowaliśmy małą próbkę: 20 wiadomości ze znanymi poprawnymi działami. Jedna z możliwych metod polega na domieszaniu tej próbki do nowych przykładów reklamacji. Dzięki temu dalsze uczenie otrzymuje również sygnał, by nadal poprawnie obsługiwać „Gdzie jest moja paczka?”. Ponowne użycie dawnych przykładów jest jedną ze strategii opisanych przez van de Vena i Toliasa, Three scenarios for continual learning, §3.3.

Zobacz także: Experience Replay — przechowywanie niewielkiej próbki dawnych przykładów i domieszanie jej do nowej nauki.

Zespół oceniający zachowuje osobny test starych wiadomości, którego nie używamy do uczenia. Po każdej aktualizacji sprawdzamy stare i nowe kategorie. Poniższe liczby są wymyślonym przykładem, nie wynikiem badania; każdy test zawiera 100 wiadomości.

Ostatni wariant lepiej zachowuje wcześniejszą umiejętność, choć słabiej rozpoznaje reklamacje niż drugi. Tabela pokazuje, co porównywać; nie obiecuje takiego wyniku po dodaniu 20 przykładów.

Warunki zmieniają trudność

W naszym przykładzie model sam wybiera spośród wszystkich poznanych działów. Podpowiedź „to wiadomość z nowej kategorii” ułatwiałaby test. Dostępność takich podpowiedzi i granic między zadaniami jest ważna przy porównywaniu metod (van de Ven i Tolias, §2–2.3). Mała próbka może pominąć rzadkie pytania; dobra średnia nie dowodzi zachowania każdej umiejętności.

• Catastrophic Forgetting opisuje znaczne pogorszenie starych umiejętności; jego demonstracja pokazuje, jak nowa nauka zmienia wspólne ustawienia.
• Fine-tuning to dalsze uczenie modelu na wybranych przykładach. Po kolejnych treningach sprawdzamy również wcześniejsze zdolności.
• Knowledge Distillation może przekazywać wskazówki ze starszego modelu do aktualizowanego; to inna strategia niż przechowanie oryginalnych wiadomości (§3.3 pracy van de Vena i Toliasa).

Tekst i ilustrację przygotowano z pomocą AI; wiadomości, wielkość próbki i wyniki tabeli są własnym przykładem edukacyjnym. Ilustracja pokazuje cel zachowania wcześniejszych umiejętności, nie budowę modelu.

Learning Rate Warmup to początkowy etap uczenia, w którym stopniowo zwiększamy learning rate, czyli współczynnik regulujący wielkość aktualizacji ustawień modelu. Określamy docelową wartość i liczbę kroków dojścia do niej. Nie chodzi o nagrzewanie komputera. Liniowy wariant opisują Xiong i współautorzy, §3.2, równanie 1.

Ten sam kierunek, inna wielkość poprawki

Model ma jedną wagę — regulowaną liczbę równą prognozie. Strata ocenia pomyłkę: przyjmujemy połowę kwadratu różnicy między prognozą a celem 10. Gradient mówi, jak mała zmiana wagi wpływa na tę stratę. Tutaj wynosi prognoza − 10. Odejmujemy gradient pomnożony przez learning rate, podobnie jak w SGD; w tym przykładzie nie losujemy danych.

Na starcie gradient to −10. Przy learning rate 2,4 pierwsza poprawka daje 0 − 2,4 × (−10) = 24. Błąd względem 10 rośnie z 10 do 14 minut. Przy czterech krokach liniowego warmup zaczynamy od jednej czwartej docelowej wartości, czyli 0,6. Prognoza zmienia się na 6, a błąd maleje do 4 minut. Następne wartości learning rate to 1,2; 1,8; 2,4. Gradient obliczamy od nowa przed każdą poprawką.

Warmup łagodzi więc start, lecz nie naprawia zbyt dużej wartości docelowej. W tym przykładzie po dojściu do 2,4 pomyłki znów narastają. Przy rozsądnym 0,8 wariant bez warmup od początku zbliża się do celu szybciej. To ograniczenie zobaczysz poniżej.

Sprawdź pierwszy krok i dalszy ciąg

Porównaj pierwszy krok, potem wykonaj dwanaście. Zmień docelową wartość z 2,4 na 0,8. Oba przebiegi startują od zera i widzą te same dane. Słupki pokazują learning rate, a nie rzeczywistą odległość przesunięcia wagi: ta zależy także od gradientu.

Dlaczego przydaje się w modelach językowych?

W oryginalnym Transformerze Vaswani i współautorzy, §5.3, zwiększali learning rate liniowo przez 4000 kroków, a później go zmniejszali. Używali Adama, czyli algorytmu dobierającego aktualizacje na podstawie historii gradientów. Warmup określa harmonogram jego learning rate, a nie zastępuje optymalizatora.

Xiong i współautorzy wiążą trudny start m.in. z dużymi początkowymi gradientami w badanej architekturze (§3.3–3.4). Przesunięcie Layer Normalization — operacji regulującej skalę liczb wewnątrz modelu — przed główne obliczenia danego bloku pozwoliło im uczyć wariant Pre-LN bez warmup (§4). W oryginalnym wariancie Post-LN normalizacja następuje po dodaniu wyniku bloku do jego wejścia. Nie wynika z tego, że każdy model potrzebuje warmup ani że każdy Pre-LN może go pominąć.

Gradient Clipping ogranicza wielkość gradientu; warmup zmienia współczynnik zastosowania aktualizacji w czasie. Nasza demonstracja pokazuje tylko ten drugi pomysł na jednej wadze. Utrzymuje stały learning rate po czterech krokach, aby odsłonić ograniczenie; nie odtwarza całej receptury treningu Transformera.

Catastrophic Forgetting to znaczne pogorszenie wcześniej wyuczonych umiejętności podczas uczenia kolejnych zadań. Wagi, czyli liczby sterujące obliczeniami modelu, mogą służyć wielu zadaniom naraz. Poprawki korzystne dla nowego zadania mogą naruszyć ustawienia potrzebne do starego. Ten mechanizm opisują Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §1.

Dwie ceny korzystają ze wspólnego ustawienia

W naszym wymyślonym, celowo małym modelu mała paczka kosztuje a, a duża a + b. a i b są uczonymi liczbami, jak dwa pokrętła. Początkowo a = 2, b = 0: mała paczka jest wyceniona dobrze, duża zbyt tanio.

Uczenie dużych paczek zwiększa oba ustawienia. Po pierwszym kroku dostajemy a = 2,5, b = 0,5. Cena dużej rośnie z 2 do 3 zł, bliżej celu. Cena małej też rośnie — mimo że nie miała się zmienić. Po wielu krokach duża zbliża się do 4 zł, a mała do błędnych 3 zł.

Nie brakuje tu miejsca na obie umiejętności: a = 2, b = 2 daje obie poprawne ceny. Problem polega na tym, które ustawienia zmienia dalsze uczenie. Gdy zachowamy a = 2 i uczymy tylko b, możemy poprawić dużą paczkę bez psucia małej. To idealizowana ochrona przy znanej roli każdego ustawienia, a nie gotowa recepta dla ogromnego modelu językowego.

Co to zmienia przy douczaniu LLM

Fine-tuning oznacza dalsze uczenie modelu na nowych przykładach. Wyobraź sobie model dobrze tłumaczący tekst, który douczasz wyłącznie pisania zapytań do bazy danych. Lepsze zapytania nie gwarantują zachowania jakości tłumaczeń. Trzeba sprawdzać oba zadania na tych samych zestawach testowych, nieużywanych do uczenia, przed i po treningu. To przykład zastosowania mechanizmu, nie wynik eksperymentu z paczkami.

W badaniu LLM pogorszenie wcześniejszych zdolności zaobserwowali Luo et al., §5.1. Domieszanie ogólnych przykładów do nowej nauki ograniczało ten problem w ich eksperymentach (§5.4), lecz nie usuwało go całkowicie. Inną metodą jest ostrożniejsze zmienianie wag ważnych dla starych zadań, opisane przez Kirkpatrick et al. w §2. Zachowanie wcześniejszej wiedzy i swoboda nowej nauki wymagają kompromisu.

Nie każda pomyłka oznacza Catastrophic Forgetting. Potrzebne jest porównanie zachowania po zmianie wyuczonych ustawień. Jeśli informacja jedynie wypadła z tekstu dostępnego w rozmowie, to inny problem. Poniższy model pokazuje współdzielenie ustawień; nie mierzy skali zapominania w LLM ani nie dowodzi trwałego wymazania wiedzy.

Sprawdź, co traci stara umiejętność

Zwiększ liczbę kroków. Czy malejący błąd dużej paczki wystarczy, by uznać cały model za lepszy? Następnie zaznacz ochronę a i porównaj obie ceny przy tej samej liczbie kroków.

Jak liczymy kroki: błąd uczenia dużej paczki to połowa kwadratu różnicy a + b − 4. Gradient — wskazówka, jak zmiana każdej liczby zmieni ten błąd — wynosi tutaj a + b − 4 dla obu ustawień. W każdym kroku odejmujemy od zmienianych ustawień ćwierć tej wartości, obliczonej przed aktualizacją. To prosta reguła zejścia po gradiencie, pokrewna mechanizmowi Stochastic Gradient Descent; używamy jednego stałego przykładu, bez losowania danych. Przy ochronie a zmieniamy tylko b.

Powiązania

• Pre-training daje wcześniejsze umiejętności, które dalsze uczenie może naruszyć.
• LoRA uczy dodatki do bazowego modelu; zachowanie bazowych wag samo w sobie nie dowodzi zachowania wcześniejszych umiejętności modelu z aktywnymi dodatkami.

Zobacz także: Continual Learning — uczenie kolejnych zadań z zachowaniem wcześniejszych umiejętności.

Tekst, ilustrację i demonstrację przygotowano z pomocą AI; ceny i model dwóch liczb są własnym przykładem edukacyjnym.

Sequence Packing układa kilka przykładów w jednym ciągu wejściowym, aby ograniczyć wypełnienie podczas treningu. W naszym przykładzie wszystkie trzy mieszczą się w jednym ośmiopozycyjnym wierszu: siedem miejsc z danymi, jedno puste. Nie powstały nowe odpowiedzi; zmieniło się ich ułożenie. Taką rolę opisuje dokumentacja TRL 0.29.0, SFT Trainer, sekcja „Packing”.

Osiem miejsc to własne uproszczenie, nie domyślny rozmiar wiersza w TRL. Zwykła porcja przykładów może być wyrównana tylko do najdłuższego tekstu; grupowanie podobnych długości także zmniejsza straty miejsca. Już Attention Is All You Need, §5.1, opisuje takie grupowanie. Liczba pustych miejsc sama nie wyznacza przyspieszenia: zależy ono również od sposobu wykonywania obliczeń.

Wspólny wiersz nie musi oznaczać wspólnej rozmowy

Chcesz, żeby „Nie” pozostało niezależnym przykładem, a nie dalszym ciągiem „Dziękuję bardzo”. Sam znacznik końca jest tylko tokenem. Zwykła blokada podglądania przyszłości — Causal Masking — nadal pozwala późniejszemu tekstowi czytać wcześniejszy w tym samym wierszu.

Żeby zachować niezależność, obliczenia muszą znać granice przykładów i blokować dostęp przez te granice. Osobno trzeba dopilnować oceny błędu: nie uczyć przewidywania pierwszego tokena „Nie” z końca poprzedniego tekstu. Wybór ocenianych pozycji to Loss masking; pominięcie kary za pozycję nie blokuje jej czytania.

Konkretnie w kodzie TRL 0.29.0: DataCollatorForLanguageModeling i konfiguracji BFD packing długości przykładów służą odtworzeniu granic, a początki są pomijane w ocenie błędu. Ten przebieg wymaga zgodnej implementacji attention — mechanizmu korzystania z innych pozycji tekstu; kod ostrzega przed przenikaniem informacji przy nieobsługiwanej konfiguracji. To warunek konkretnego rozwiązania, nie własność każdego packing.

Sprawdź dwie osobne rzeczy

Włącz pakowanie, a następnie wyłącz rozdzielenie dostępu. Miejsca pozostaną oszczędzone, ale B1 będzie mogło korzystać z wcześniejszego przykładu A. Kwadraty oznaczają tokeny końca; A1, B1 itd. to umowne kawałki tekstu. Demonstracja pokazuje dozwolone połączenia, bez symulowania odpowiedzi modelu. Wariant „pełne wiersze” ujawnia brak oszczędności, gdy wszystkie przykłady już wypełniają po osiem miejsc.

Strategie różnią się zachowaniem długich tekstów. W TRL 0.29.0, funkcja pack_dataset, bfd dopasowuje całe przykłady do wolnych miejsc, lecz obcina nadmiar zbyt długiego przykładu; wrapped może przeciąć tekst w środku. Dlatego trzeba sprawdzić zarówno zachowane dane, jak i granice. Packing porządkuje wejścia do uczenia, w tym Fine-tuning — dalszego dostosowywania modelu na przykładach. Nie powiększa maksymalnej długości tekstu obsługiwanej przez model.

Direct Preference Optimization (DPO) to metoda dalszego uczenia modelu językowego na parach odpowiedzi oznaczonych jako preferowana i odrzucona. Porównania bezpośrednio wyznaczają błąd, na podstawie którego zmienia się model generujący. Oryginalna metoda nie wymaga osobnego trenowania oceniacza, który punktuje nowe odpowiedzi, ani pętli uczenia ze wzmocnieniem, w której generator uczy się z takich ocen. Opis i regułę podają Rafailov i współautorzy, Direct Preference Optimization: Your Language Model is Secretly a Reward Model, §4, równanie (7).

Co zmienia porównanie

Zachowujemy prośbę, oba teksty i wskazanie A. Model przypisuje każdej odpowiedzi prawdopodobieństwo jej wygenerowania. DPO zestawia wzajemną przewagę A nad B z przewagą w niezmienianym modelu odniesienia — zwykle kopii modelu z początku tego etapu uczenia. Gdy przewaga A rośnie względem tego punktu startu, błąd tej pary maleje. Trening dostosowuje liczbowe ustawienia modelu, aby zmniejszać takie błędy w zbiorze porównań.

We własnym, celowo małym przykładzie dopuszczamy tylko dwie całe odpowiedzi. Model odniesienia daje A 40%, a B 60%. Po zmianie ustawień model daje A 60%, a B 40%. Stosunek A do B wzrósł z 2/3 do 3/2, czyli 2,25 raza. β jest dodatnim współczynnikiem związanym z kontrolą odejścia od modelu odniesienia; tutaj ustawiamy go na 1. Wtedy błąd DPO tej pary spada z około 0,693 do 0,368. To ocena zgodności z zapisanym porównaniem, nie pomiar prawdy. Liczby pokazują możliwą zmianę, a nie gwarantowany wynik jednego kroku treningu.

W rzeczywistym modelu możliwych odpowiedzi jest znacznie więcej. Prawdopodobieństwa A i B nie muszą sumować się do 100%; prawdopodobieństwo całego tekstu powstaje z prawdopodobieństw kolejnych jego kawałków. Uprościliśmy przestrzeń odpowiedzi, zachowując regułę porównania.

Punkt startu ma znaczenie

Jeśli kopia odniesienia dawała A 80%, przejście do 60% zmniejsza jej przewagę nad B, choć A nadal jest częstsza. Dlatego DPO nie sprowadza się do sprawdzenia „czy A ma ponad połowę?”. Poniżej możesz porównać oba punkty startu.

Granica obietnicy

DPO może nauczyć się również złej preferencji. Gdy ktoś stale wybiera B za uprzejme brzmienie, etykieta nagradza dopisywanie wyjazdu. Samo zmniejszanie błędu nie odkryje, że powód jest niepodany. To ograniczenie naszego przykładu; §7 pracy omawia otwarte pytania o nadmierną optymalizację i przenoszenie zachowania na nowe zadania.

Dla chętnych: skąd liczba błędu

Niech $p_A,p_B$ oznaczają bieżące prawdopodobieństwa całych odpowiedzi, a $r_A,r_B$ — te same wartości w modelu odniesienia. Najpierw liczymy zmianę stosunku:

$R=\frac{p_A/p_B}{r_A/r_B}$

Symbol ln oznacza logarytm naturalny. Po zmianie znaku ta funkcja zamienia wartość bliską 1 w błąd bliski 0, a małą wartość w duży błąd. Reguła oryginalnego DPO daje przewidywaną preferencję $q=R^\beta/(1+R^\beta)$ i błąd $L=-\ln q$; dodatni współczynnik β ustawiliśmy na 1. Dla R = 2,25 otrzymujemy q ≈ 0,692 i L ≈ 0,368. To przepisanie równania (7) z §4 i kodu z dodatku B, nie osobny algorytm. Im bliżej q do 1, tym mniejszy błąd przypisania etykiety „A lepsza”.

Powiązania:

• Reinforcement Learning from Human Feedback w klasycznym wariancie używa osobnego modelu nagrody i późniejszego uczenia ze wzmocnieniem; DPO upraszcza etap uczenia z porównań.
• Fine-tuning jest dalszym uczeniem już istniejącego modelu; DPO określa cel takiego uczenia z par preferencji.
• KL Divergence mierzy różnicę między rozkładami prawdopodobieństw. Ograniczenie tej różnicy występuje w celu, z którego wyprowadzono DPO.
• Cross-entropy wyjaśnia logarytmiczny błąd przypisania etykiety; tutaj etykieta dotyczy porównania dwóch odpowiedzi.

Reinforcement Learning (RL) to uczenie strategii działania na podstawie doświadczeń i liczbowych ocen skutków działań. Celem jest zwiększanie oczekiwanej łącznej nagrody: wyniku, jaki strategia przynosi przeciętnie w wielu próbach. Nagroda nie musi pojawić się natychmiast po decyzji. Tak opisuje problem oficjalny Spinning Up, część 1, „Key Concepts and Terminology”, „Reward and Return” oraz „The RL Problem”.

Co program wyciąga z rozegranej partii

W naszej grze agent to program wybierający drogę, a środowisko to gra, która wykonuje ruch i przyznaje monety. Program dostaje obserwację, czyli dostępne informacje o sytuacji, na przykład położenie na planszy. Policy jest jego regułą wyboru działań; może także określać szanse wyboru różnych ruchów.

Po próbie A program zapisuje wynik „2, potem 0”. Próba B daje „0, potem 5”. Algorytm uczenia wykorzystuje takie doświadczenia, aby poprawić policy, na przykład częściej wybierać B na tym rozwidleniu. To opis celu, nie jedna uniwersalna recepta aktualizacji. Wynik 5 trzeba powiązać z wcześniejszym wyborem B. Jeśli program zawsze wybiera A, nie zbierze informacji o B; dlatego uczenie często wymaga próbowania także mniej znanych działań.

Wymyślona gra ma stałe wyniki i dwie tury. W trudniejszym środowisku ten sam ruch może przynosić różne skutki, dlatego liczy się oczekiwany wynik, a pojedynczy sukces nie dowodzi znalezienia dobrej strategii. Samo porównanie dwóch znanych sum również nie jest jeszcze uczeniem.

W Behavioral cloning program uczy się naśladować działania z przykładów. W RL informacją kierującą uczeniem jest ocena skutków. W modelach językowych działaniem może być wygenerowanie odpowiedzi, a nagrodą ocena jej poprawności lub przydatności. RLHF wykorzystuje do tego informacje pochodzące od ludzi.

Ważna granica: RL poprawia wynik według przyjętej nagrody. Jeśli punkty premiują obchodzenie zasad zamiast zadania, agent może wyuczyć się Reward hacking. Więcej punktów nie musi oznaczać zachowania, na którym naprawdę nam zależało.

Obstaw drogę, potem sprawdź drugą turę

W tym eksperymencie porównujesz cel dwóch strategii, nie trenujesz agenta. Wybierz drogę i odsłoń późniejszy wynik. Suwak zmienia znaczenie przyszłej nagrody, nie liczbę zebranych monet.

Liczymy return, czyli wynik całej próby: pierwsza nagroda + γ × druga nagroda. Symbol γ (gamma) jest wagą przyszłej nagrody. Przy γ = 1 liczymy obie tury w pełni: A daje 2, B daje 5. Przy γ = 0,2 otrzymujemy A = 2, B = 1. To inny cel oceny tej samej gry. Graniczne γ = 0 i 1 są tutaj dozwolone, bo próba kończy się po dwóch turach; nie jest to nieskończony ciąg nagród. Źródło formalizmu: Spinning Up, „Reward and Return”.

Reinforcement Learning from Human Feedback (RLHF) wykorzystuje informację zwrotną od ludzi do kierowania uczeniem ze wzmocnieniem. W klasycznym wariancie dla modeli językowych ludzkie porównania uczą osobny model oceniający odpowiedzi; jego wyniki służą następnie jako nagroda w dalszym treningu modelu generującego. Taki przebieg opisują Ouyang i współautorzy, Training language models to follow instructions with human feedback, §3.1 i §3.5.

Od wskazania A do zmiany sposobu odpowiadania

W opisanej pracy najpierw doucza się model na przykładach odpowiedzi napisanych przez ludzi. To Supervised Fine-Tuning (SFT): Fine-tuning, czyli dalsze uczenie istniejącego modelu, z dostarczonymi odpowiedziami do naśladowania. W naszym przykładzie pokazujemy mu między innymi odmowy bez dopisywania powodów.

Następnie ludzie porównują odpowiedzi na te same prośby. Na wielu takich parach trenuje się reward model, osobny model przypisujący odpowiedzi liczbę. Uczy się wystawiać wyższe oceny odpowiedziom preferowanym przez oceniających. Dla naszej pary oznacza to wynik A wyższy od B. Nie potrzeba jednej idealnej wersji odmowy; informacją jest relacja „A jest lepsze od B”.

Potem model generujący tworzy nowe odpowiedzi i dostaje oceny od reward model. Algorytm Reinforcement Learning zmienia jego parametry, czyli liczby sterujące działaniem, aby zwiększać oczekiwaną nagrodę, czyli średnią ocenę w wielu próbach. W InstructGPT użyto do tego PPO, algorytmu stopniowego aktualizowania strategii. Dodano też karę za odchodzenie od wcześniejszego modelu, mierzoną przez KL Divergence — miarę różnicy między zestawami szans przypisywanych możliwym odpowiedziom. Ograniczała ona nadmierne dopasowanie do oceniacza (§3.5, dodatek C.4).

Po takim treningu odmowy podobne do A mogą pojawiać się częściej. Zmienia się model, nie tylko wybór spośród dwóch gotowych tekstów. Człowiek nie musi oceniać każdej odpowiedzi w każdym kroku; w tym wariancie zastępuje go wyuczony oceniacz. To jeden konkretny przebieg RLHF, nie obowiązkowa recepta każdego współczesnego modelu.

Zobacz także: Direct Preference Optimization — uczenie z par preferencji bez osobnego modelu nagrody i pętli RL.

Ograniczenie: oceniacz przewiduje preferencje określonej grupy według jej instrukcji, a nie obiektywną prawdę. Gdy ludzie nagradzają wiarygodnie brzmiący, dopisany powód, model może uczyć się go naśladować. RLHF nie gwarantuje rzetelności ani zgodności z intencją każdego użytkownika; autorzy opisują pozostałe błędy i ograniczenia grupy oceniającej w §5.2–5.3.

Naucz mały oceniacz jednej preferencji

Wskaż, którą odpowiedź uznała za lepszą przykładowa grupa ludzi, i wykonuj kroki uczenia. Zobaczysz przewidywanie preferencji, nie szansę wygenerowania odpowiedzi. Wybierz też B: czy wyższy wynik usuwa dopisany powód?

Eksperyment izoluje etap reward model. Ma tylko dwa swobodnie zmieniane wyniki, A i B; nie czyta języka, nie uogólnia na nowe prośby i nie wykonuje PPO. Po pierwszym kroku dla A wyniki zmienią się z 0/0 na 0,25/−0,25, a przewidywana szansa preferowania A wzrośnie z 50% do około 62,2%. Teksty pozostają identyczne.

Skąd biorą się liczby

Z różnicy wyników obliczamy $p(A)=1/(1+e^{-(r_A-r_B)})$. $r_A$ i $r_B$ to oceny odpowiedzi, a $e$ to stała matematyczna, około 2,718. Ten wzór zamienia różnicę ocen na wartość od 0 do 1. Przy równych ocenach daje 0,5. Strata to $-ln p( ext{preferowana})$: $\ln$ oznacza logarytm naturalny, funkcję, która wraz z minusem daje większą karę za mniejszą szansę etykiety od ludzi. To postać porównania z §3.5, równanie (1).

Tutaj aktualizujemy dwa wyniki bezpośrednio, zamiast parametrów rzeczywistej sieci. Dla etykiety A zwiększamy $r_A$ o $0{,}5(1-p(A))$ i o tyle samo zmniejszamy $r_B$. Dla B robimy ruch w przeciwną stronę, o $0{,}5p(A)$. Stała 0,5 jest wybranym krokiem naszego przykładu. Nie jest ustawieniem treningu z papera.

Wektory dokumentów można obliczyć wcześniej i zapisać w indeksie. Podczas obsługi pytania trzeba obliczyć reprezentację zapytania oraz wyszukać bliskie wektory. Jest to osobny koszt od późniejszego czytania i oceniania dokumentów przez model językowy.

Przykład przygotowany do wyjaśnienia: pytasz, jak rozpocząć zbieranie danych dla nieskutecznego jeszcze agenta. Praca o ocenie gotowych agentów może uzyskać wysoki wynik podobieństwa, bo opisuje podobne zadanie. Publikacja o uczeniu z demonstracji może zawierać przydatne rozwiązanie, lecz używać innego słownictwa. Trafienie zależy od reprezentacji wyuczonej przez model, nie tylko od wspólnych słów; mimo to podobieństwo wektorów nie gwarantuje przydatności pomysłu.

W opisie ScholarCatalyst Gemini Embedding 2 tworzy pierwszą listę prac na podstawie tytułów i abstraktów. Agent może wygenerować kolejne zapytania, lecz nadal korzysta z tego retrievera. Późniejszy reranking ocenia tylko dokumenty, które weszły do puli. Własny test powinien więc sprawdzać także obecność znanych użytecznych prac przed tym etapem.

Źródło zastosowania: ScholarCatalyst, dodatek C.1.

Przykład przygotowany do wyjaśnienia: badacz wskazał trzy publikacje pomocne dla konkretnego problemu. Wyszukiwarka zwróciła pięć wyników, w tym dwie ze wskazanych publikacji. Recall@5 wynosi 2/3, czyli około 0,67. Trzecia użyteczna praca na szóstej pozycji nie zwiększy Recall@5. Dwie użyteczne pozycje na pięć wyników dają zarazem precision@5 = 2/5 = 0,40; to inna metryka, z innym mianownikiem.

W opisie ScholarCatalyst trafna praca oznacza publikację, której pomysł autor projektu uznał za pomocny lub potencjalnie pomocny. Oficjalny kod liczy Recall@k osobno dla każdego pytania, a potem uśrednia te wartości. Nie sumuje najpierw wszystkich trafień z całego benchmarku.

Metryka zależy od etykiet. Użyteczna praca nieznana osobom nadającym etykiety nie zostanie zaliczona jako trafienie, a wysokie Recall@k nie dowodzi, że agent potrafi zastosować znaleziony pomysł. Aby oddzielić błędy wyszukiwania od błędów końcowego wyboru, porównaj pozytywne dokumenty widziane przez agenta z tymi, które zwrócił na liście.

Źródła: ScholarCatalyst i oficjalny kod ewaluacji.

Nesterov Momentum, nazywane też Nesterov Accelerated Gradient (NAG), to wariant aktualizacji modelu z pamięcią wcześniejszych ruchów: nową wskazówkę oblicza w przewidywanym położeniu po zachowanej części poprzedniego ruchu. Następnie koryguje ten ruch. Nie przewiduje przyszłych danych — ocenia ten sam przykład przy innym ustawieniu modelu. Taką postać opisują Sutskever i współautorzy, §2, równania 3–4 oraz §2.1.

Ta sama prognoza, dwa miejsca sprawdzenia

Oceniamy błąd jako połowę kwadratu różnicy między prognozą a 10. To funkcja straty: liczba, którą chcemy zmniejszać. Jej gradient, czyli wskazówka, jak mała zmiana prognozy wpływa na stratę, wynosi prognoza − 10. Ujemny podpowiada zwiększenie, dodatni — zmniejszenie. Współczynnik uczenia (learning rate) 0,2 ustala wielkość reakcji.

Zwykłe Momentum sprawdza gradient przy 9: otrzymuje −1. Nowa poprawka dodaje 0,2, obok zachowanego ruchu +2. Prognoza wynosi 11,2.

Nesterov najpierw wyznacza punkt sprawdzenia: 9 + 2 = 11. Gradient wynosi tam +1, więc nowa poprawka odejmuje 0,2. Wynik to 10,8. Zachowany ruch nadal zwiększa prognozę, ale wskazówka już go hamuje. Strata spada z 0,5 do 0,32; zwykłe Momentum podnosi ją do 0,72. To własny przykład jednej aktualizacji z identycznego stanu, nie porównanie całych treningów.

Sprawdzenie z wyprzedzeniem nie gwarantuje sukcesu

Zwiększ zachowany ruch do +3. Nesterov sprawdzi punkt 12 i odejmie 0,4, lecz skończy na 11,6. Strata 1,28 jest większa niż początkowe 0,5. Wcześniejsza korekta nie usuwa potrzeby dobierania wielkości kroków i pamięci. Także teoretyczne przewagi metody wymagają określonych warunków; nie są obietnicą szybszego treningu każdego LLM.

Poniżej zmieniasz zachowaną część ruchu, pozostawiając prognozę 9 i współczynnik 0,2. Najpierw przewidź wynik przy +2, potem odsłoń oba warianty. Przy zerowym zachowanym ruchu obie wskazówki i wyniki się pokryją. Każde ustawienie opisuje osobny, hipotetyczny stan — suwak nie odtwarza wcześniejszych kroków treningu.

Zapis dla jednego ustawienia

Po intuicji można zapisać regułę z pracy:

w to bieżące ustawienie (tutaj prognoza), v — poprzedni ruch, μ — zachowana jego część, y — punkt sprawdzenia, g(y) — gradient obliczony w tym punkcie, η — współczynnik uczenia, a t — numer kroku. Nasze +2 oznacza już μv, np. 0,8 × 2,5. W rzeczywistym modelu ustawień jest wiele; reguła działa na listach liczb.

To konwencja z równań 3–4 paperu. PyTorch 2.11 SGD, reguła i uwaga o Momentum/Nesterov zapisuje wariant przez bufor gradientów i zmienną opisującą inne położenie; nie należy podstawiać naszego w i v bezpośrednio jako jego parametrów i bufora. Demonstracja liczy wskazaną wyżej regułę z pracy.

Powiązania

• Momentum zachowuje ruch, ale w podstawowej postaci sprawdza gradient przy bieżącym ustawieniu.
• Stochastic Gradient Descent wyznacza wskazówki z losowo wybranych danych; można połączyć je z Nesterov Momentum. Nasz przykład ma stały cel i nie pokazuje losowości próbkowania.
• Optimizer State obejmuje pamięć potrzebną do kontynuacji aktualizacji, tutaj wcześniejszy ruch, a nie samą prognozę.

Punktem wyjścia jest pass@k: prawdopodobieństwo uzyskania przynajmniej jednego poprawnego wykonania wśród k prób. Dla kolejnych budżetów powstaje krzywa. Nie wskazuje ona, którą odpowiedź należy wybrać; do praktycznego wykorzystania udanej próby potrzebny jest weryfikator.

Pole pod różnicą względem końcowego wyniku

Oznaczmy skuteczność przy budżecie k przez C(k), a maksymalny rozpatrywany budżet przez K. Autorzy definiują:

Dla każdego mniejszego budżetu odejmujemy aktualną skuteczność od wyniku przy pełnym budżecie. Dodajemy te różnice. Duża wartość oznacza, że sukcesy pojawiają się dopiero po dołożeniu prób. W rachunku skuteczność zapisujemy jako prawdopodobieństwo od zera do jednego.

Poniższy rachunek jest przykładem dydaktycznym, nie wynikiem papera. Przy budżetach jednej, dwóch i trzech prób skuteczność wynosi odpowiednio 0,2, 0,4 i 0,6. Dla K = 3 suma wynosi (0,6 − 0,2) + (0,6 − 0,4), czyli 0,6. Jeżeli inny model osiąga 0,6 już w jednej próbie i zachowuje ten wynik, suma wynosi zero. Brak dalszego przyrostu może więc wynikać z szybszego osiągnięcia tego samego wyniku, nie z jego pogorszenia.

Normalizacja i porównanie modeli

Wersja znormalizowana uwzględnia odsetek zadań nieudanych w pojedynczej próbie:

W podanym przykładzie mianownik wynosi 2 razy 0,8, czyli 1,6; S(3) wynosi 0,375. K musi być liczbą całkowitą nie mniejszą niż dwa. Gdy C(1) wynosi jeden, mianownik jest zerowy i ten wariant miary nie jest określony.

Znormalizowany Sharpening Tax jest różnicą między skalowalnością wersji bazowej a skalowalnością po dalszym treningu:

Porównanie wymaga tych samych zadań, budżetu i reguł wyznaczania skuteczności. Dodatnia wartość oznacza mniejsze korzyści z dokładania prób po treningu według tej miary. Nie dowodzi sama w sobie, że końcowy pass@K jest niższy.

Zerowy wynik może opisywać sukces albo całkowitą porażkę

Jeśli model zawsze odnosi sukces, wszystkie różnice w A(K) są zerowe. Tak samo jest, jeśli nie odnosi sukcesu przy żadnym budżecie. Dlatego A(K), S(K) i ich różnice trzeba odczytywać razem z krzywą pass@k i jej końcowym punktem.

W pracy autorzy szacują krzywe z liczby sukcesów osobno dla każdego zadania, a następnie uśredniają zadania z równymi wagami. Skończona liczba prób nie pozwala utożsamić braku zaobserwowanego sukcesu z zerowym prawdopodobieństwem sukcesu. W zastosowaniu porównuj zmianę korzyści z powtórek z końcową skutecznością oraz kosztem uzyskania sprawdzonego rezultatu.

Źródło: Changdae Oh i współautorzy, Sharpening Tax in Post-Training, §4 i dodatki B.1–B.2, preprint arXiv:2610.01509v1 z 1 października 2026, na licencji CC BY 4.0.

Masz jednak mało danych. Chcesz ograniczać wielkość wag, żeby model nie opierał się bez potrzeby na dużych liczbach. Jedna metoda dodaje do oceny błędu karę za duże wagi. Przy algorytmie Adam taka kara przechodzi przez mechanizm dobierania kroku i nie daje tego samego efektu co bezpośrednie pomniejszenie każdej wagi o ten sam procent.

AdamW to wariant Adam, który oddziela aktualizację wynikającą z błędu na danych od weight decay — proporcjonalnego przyciągania wag do zera. Adam nadal dobiera poprawkę dla każdej wagi na podstawie historii wskazówek z uczenia. Dodatkowe kurczenie omija ten mechanizm i nie trafia do jego zapamiętywanych statystyk. Loshchilov i Hutter, §2 i algorytm 2, opisują właśnie takie rozdzielenie.

Co zmienia się w naszym przykładzie?

Strata to liczba oceniająca niedopasowanie prognozy. Tu przyjmujemy połowę kwadratu błędu. Gradient wskazuje, jak mała zmiana wag wpływa na tę stratę. Ponieważ prognoza 14 trafia w cel 14, gradient błędu wynosi zero.

Dla czytelnego porównania wykonajmy pierwszy krok ze świeżą pamięcią optymalizatora — algorytmu zmieniającego wagi. Ustawiamy learning rate, czyli współczynnik wielkości kroku, na 0,1, a siłę regulacji na 0,1:

Kara L2 rośnie z sumą kwadratów wag. Dopisuje do gradientu wskazówki 0,2 i 1. W tym pierwszym kroku Adam dzieli każdą z nich przez niemal jej własną wielkość: obie poprawki stają się bliskie 0,1. Znika proporcja, której mogliśmy oczekiwać.

W AdamW gradient z danych pozostaje zerowy, a osobne kurczenie odejmuje 0,1 × 0,1 × wagę: odpowiednio 0,02 i 0,1. Stosujemy tu konwencję PyTorch 2.11, reguła AdamW, w której decay jest mnożony przez learning rate. Oddzielenie dotyczy mechanizmu adaptacji, nie pełnej niezależności od wszystkich ustawień.

Ograniczenie: prognoza AdamW spada do 13,86, więc dopasowanie tego przykładu się pogarsza. Regulacja może pomóc na nowych danych, ale nie gwarantuje tego; zbyt silne kurczenie przeszkadza w uczeniu. To własny przykład dwóch wag, nie wynik treningu LLM. Równe poprawki Adam dotyczą tego pierwszego kroku i jego założeń, nie całego treningu.

Sprawdź, czy oba pokrętła robią to samo

Zanim odsłonisz wynik, przewidź: czy dwukrotnie większa siła regulacji podwoi obie poprawki? Każde ustawienie liczy pierwszy krok od nowa.

Dwukrotnie większy współczynnik podwaja osobny decay AdamW przy stałym learning rate. W pokazanym pierwszym kroku Adam z dodatnią karą L2 nadal odejmuje około 0,1 od każdej wagi. Późniejsze kroki uwzględniają historię i zmieniające się błędy, więc nie powtarzają automatycznie tej sytuacji.

Powiązania

• Adam wyznacza część kroku opartą na danych; AdamW zmienia sposób dołączania kurczenia.
• Weight decay opisuje samo przyciąganie do zera.
• Optimizer State wyjaśnia, dlaczego historia wcześniejszych gradientów zmienia późniejsze kroki.

Momentum dodaje do kolejnych poprawek modelu pamięć wcześniejszych wskazówek. Zachowuje część poprzedniego śladu i łączy ją z nowym gradientem — informacją, jak mała zmiana ustawienia wpływa na błąd. Zgodne wskazówki mogą się wzmacniać; wpływ dawnych stopniowo słabnie. Podstawowy wariant, classical momentum, opisują Sutskever i współautorzy, §2, równania 1–2.

Dwie poprawki tej samej prognozy

Żeby policzyć przykład, oceniamy błąd jako połowę kwadratu różnicy między prognozą a 10. To własna, uproszczona funkcja straty: liczba, którą chcemy zmniejszać. Jej gradient wynosi prognoza − 10. Ujemny podpowiada zwiększenie prognozy, dodatni — zmniejszenie. Wielkość reakcji ustalamy współczynnikiem uczenia (learning rate) 0,2.

Bez pamięci pierwszy krok daje 6 − 0,2 × (−4) = 6,8. Drugi używa tylko nowego gradientu −3,2: wynik to 7,44.

Z Momentum również zaczynamy od 6,8, lecz przy drugiej poprawce zachowujemy 80% poprzedniego śladu. Nowy ślad to 0,8 × (−4) + (−3,2) = −6,4, więc prognoza rośnie do 8,08. Ta sama bieżąca wskazówka daje większą poprawkę dzięki historii. Nie oznacza to zapamiętywania wszystkich dostaw.

Oto stosowana reguła, zgodna z podstawowym wariantem w dokumentacji PyTorch 2.11 SGD, uwaga o Momentum:

w to prognoza, g — bieżący gradient, b — zapamiętany ślad, t — numer kroku. μ określa zachowaną część śladu, a η wielkość reakcji. Zaczynamy z b=0. Przy μ=0 zostaje zwykła poprawka bez pamięci. Używamy stałego η=0,2, bez dodatkowych korekt algorytmu.

Dlaczego pamięć wymaga ostrożności?

W tym przykładzie Momentum szybciej zbliża prognozę do 10, ale w czwartym kroku przekracza cel: 10,7168. Następny gradient podpowiada już zmniejszenie prognozy, lecz wcześniejszy ślad nadal ją zwiększa — do 11,55648. Strata rośnie z około 0,257 do 1,211. Pamięć może więc pomagać, a później opóźniać zmianę kierunku; nie gwarantuje poprawy po każdym kroku.

Przejdź kolejne kroki poniżej. Przy kroku 5 porównaj wskazówkę z faktycznym ruchem. Potem ustaw pamięć na zero: czy obie drogi się pokryją? Zmiana suwaka przelicza całą drogę od tego samego startu.

Model językowy ma wiele wag — liczb sterujących jego obliczeniami — i trudniejszą funkcję straty. Momentum może uzupełniać Stochastic Gradient Descent, który wylicza wskazówki z części danych. Zachowany ślad należy do Optimizer State, czyli pamięci algorytmu aktualizacji. Adam także wykorzystuje historię kierunku, ale dodatkowo dostosowuje skalę reakcji osobno dla wag; jego reguła różni się od pokazanego Momentum.

Zobacz także: Nesterov Momentum — wariant sprawdzający gradient w przewidywanym punkcie po zachowanej części poprzedniego ruchu.

Stochastic Gradient Descent (SGD) wyznacza poprawkę na podstawie losowo wybranego przykładu, zamiast całego zbioru. W wariancie mini-batch SGD korzysta z małej grupy przykładów i uśrednia ich wskazówki (D2L, §12.5.2). Nie wybiera przypadkowego kierunku: losowe są dane użyte do jego obliczenia. Różnicę między pełnym obliczeniem a pojedynczą próbką opisuje Léon Bottou, Large-Scale Machine Learning with Stochastic Gradient Descent, §2.1–2.2.

Jedna poprawka bez przeglądania wszystkiego

W naszym uproszczeniu model ma jedną wagę — regulowaną liczbę, tutaj równą prognozie czasu. Strata to liczbowa ocena błędu. Przyjmijmy połowę kwadratu różnicy między prognozą a rzeczywistym czasem. Kwadrat sprawia, że duże pomyłki kosztują więcej.

Gradient mówi, jak mała zmiana wagi wpływa na stratę. Dla tej straty to prognoza minus rzeczywisty czas. Znak podpowiada kierunek: ujemny gradient oznacza, że zwiększenie prognozy zmniejsza stratę tej próbki. Learning rate określa, jak mocno zastosujemy wskazówkę; wybieramy 0,2.

Jeśli wylosujemy przejazd trwający 8 minut, gradient wynosi 6 − 8 = −2. Odejmujemy 0,2 × (−2) od prognozy: dostajemy 6,4 minuty. Gdyby trafiło na 12 minut, wynik wyniósłby 7,2. Pełna średnia wskazówek z obu przejazdów dałaby 6,8. To własne dane i rachunki, nie pomiar modelu językowego.

SGD pozwala zacząć aktualizację po przetworzeniu części danych. Przy równym losowaniu z tych dwóch przejazdów średnia możliwych gradientów odpowiada pełnemu gradientowi, choć pojedyncze kroki się różnią. Nie gwarantuje to krótszego całego treningu ani najlepszego rozwiązania.

Poprawa próbki może pogorszyć całość

Ustawmy prognozę na 10 minut: to najlepszy wspólny wynik dla naszych dwóch czasów i wybranej straty. Krok z próbki 8 minut zmieni ją na 9,6. Strata tej próbki spadnie z 2 do 1,28, lecz średnia strata obu przejazdów wzrośnie z 2 do 2,08. Pojedyncza próbka nie opisuje całego zbioru. Dobór wielkości kroków ma znaczenie; stały krok może podtrzymywać wahania wokół rozwiązania (Bottou, §2.2).

Wybierz poniżej porcję danych, potem punkt startu 10. Porównaj błąd porcji z błędem całego zbioru. Przyciski odsłaniają możliwe wyniki losowania; same nie losują. Każde ustawienie liczy jeden krok od wybranego startu, bez historii wcześniejszych kliknięć.

Jak to łączy się z uczeniem LLM?

Model językowy ma wiele wag i inną funkcję straty, np. Cross-entropy, która ocenia szanse przypisane poprawnym kawałkom tekstu. Zasada aktualizacji z porcji danych pozostaje użyteczna, lecz SGD nie jest jedynym algorytmem. Oryginalny Transformer używał Adama (Attention Is All You Need, §5.3).

Gradient Accumulation łączy wskazówki z kilku porcji przed jednym krokiem. Zwykły SGD nie zachowuje historii gradientów między krokami. Wariant z momentum, który podtrzymuje wpływ wcześniejszych wskazówek, potrzebuje już takiej pamięci — to część Optimizer State, czyli dodatkowych danych przechowywanych przez algorytm aktualizacji wag (reguła i uwagi PyTorch 2.11 SGD).

Zobacz także: Learning Rate Warmup — stopniowe zwiększanie learning rate na początku treningu.

Optimizer State to pomocnicze dane utrzymywane między krokami przez optymalizator, czyli algorytm wyznaczający aktualizacje wag. Mogą obejmować zapamiętane kierunki zmian, statystyki ich wielkości i licznik kroków. To odrębne dane od samych wag modelu.

Wróćmy do przerwanego uczenia. Uprośćmy model do jednej wagi o wartości 1. Gradient jest liczbą opisującą, jak zmiana tej wagi wpływa na błąd. Dodatni gradient podpowiada zmniejszenie wagi; ujemny — zwiększenie. Wybieramy algorytm z momentum: zachowuje on ślad poprzednich gradientów i łączy go z bieżącym. Nie przechowuje wszystkich dawnych przykładów.

Załóżmy, że zapamiętany ślad wynosi 1, zachowujemy 80% jego wartości, nowy gradient wynosi 1, a wielkość kroku ustawiamy na 0,1. Po odtworzeniu historii nowy ślad to 0,8 × 1 + 1 = 1,8, więc waga spada do 1 − 0,1 × 1,8 = 0,82. Po utracie historii ślad zaczyna od nowego gradientu, czyli 1, a waga spada tylko do 0,9. Te własne liczby ilustrują regułę z dokumentacji PyTorch 2.11 SGD, uwaga o momentum. Stosujemy podstawowy wariant momentum, bez innych korekt aktualizacji.

Ile historii trzeba przechowywać?

SGD (Stochastic Gradient Descent) zmienia wagi na podstawie gradientu bieżącej porcji danych. Dodanie momentum daje mu także pamięć wcześniejszych kroków.

Adam wykorzystuje te statystyki do ustalania kolejnych zmian; opisuje je praca Kingmy i Ba, §2–3 i algorytm 1. Tabela opisuje podstawowe warianty, bez dodatkowych buforów implementacji.

W PyTorch zapis optymalizatora zawiera także ustawienia, np. wielkość kroku. Jego część state przechowuje dane pomocnicze przypisane do parametrów, czyli wag modelu, ale nie zapisuje samych parametrów. Rozdział opisuje dokumentacja Optimizer.state_dict.

ZeRO dzieli tę pamięć między urządzenia. W analizowanej w nim recepturze Mixed Precision Training do kategorii pamięci optymalizatora wliczono również kopię master (§3.1), czyli dokładniejszą kopię wag FP32. To liczby zapisane z większą precyzją, a nie historia gradientów; kategorie kosztu zależą od przyjętej receptury.

Do kontynuowania uczenia zapisujemy więc wagi i stan algorytmu. Poradnik PyTorch, „Saving & Loading a General Checkpoint” pokazuje oba zapisy. To nadal nie gwarantuje identycznego dalszego przebiegu: znaczenie mogą mieć także kolejność danych, losowania i harmonogram wielkości kroku. Stan optymalizatora rozwiązuje jeden konkretny brak, nie zastępuje całego zapisu treningu.

Co zabierzesz do kolejnego kroku?

Poniższa próba zawsze startuje od wagi 1. Wybierz zawartość zapisu, potem zmień nowy gradient. Sprawdź także −0,5: zachowany ślad może jeszcze zmniejszać wagę, mimo że sam bieżący gradient podpowiada jej zwiększenie. To demonstracja jednego kroku momentum, bez pomiaru jakości modelu.

All-gather przekazuje fragmenty wszystkich uczestników tak, że każdy otrzymuje ich połączoną kopię. W opisywanym NCCL kolejność wynika z ranku, czyli numeru uczestnika w grupie komunikacyjnej.

Dla fragmentów [1, 4], [2, −1] i [3, 2] każdy otrzyma [1, 4, 2, −1, 3, 2]. Dwie wartości 2 pozostają dwoma elementami. Operacja niczego nie sumuje, nie usuwa powtórzeń i nie sortuje liczb.

Zebranie kompletu wymaga komunikacji i pamięci na pełny wynik. All-reduce z sumą dałby zamiast tego [6, 5]. Po Reduce-scatter All-gather może odtworzyć cały już połączony wynik z jego części.

Mechanizm i szczegóły

Jeśli trzy ranki wysyłają po dwie liczby, każdy otrzymuje sześć. Fragment ranku 0 jest pierwszy, ranku 1 drugi, ranku 2 trzeci. Taką semantykę określają NCCL, sekcja AllGather oraz API ncclAllGather: początek fragmentu ranku i ma offset i × sendcount.

Te same części u wszystkich

Własny przykład:

Dwie wartości 2 pozostają dwoma elementami. All-reduce z sumą dałby zamiast tego [6, 5] — dwie sumy odpowiadających sobie pozycji.

W demonstracji karty A, B i C zachowują swoje dane. Zamień przypisanie ranków 0 i 2: wynik zmieni kolejność fragmentów, choć nie zmienisz żadnej liczby. To zmiana numeracji uczestników, nie symulacja fizycznej drogi przesyłania danych.

Co umożliwia, a czego nie robi

Reduce-scatter może zostawić na każdym ranku inny fragment zredukowanego bufora. All-gather zbiera te fragmenty; przy zgodnym podziale takie złożenie daje wynik All-reduce. Jeśli zbierasz surowe fragmenty, otrzymujesz surowe fragmenty — samo All-gather nie uzgadnia gradientów.

W ZeRO jest potrzebne do zebrania rozdzielonych parametrów na czas obliczeń, co opisuje §7.2.2 pracy Rajbhandari et al.. Złożenie pełnego bufora chwilowo zwiększa pamięć odbiorcy. Operacja nie oznacza, że model stale przechowuje wszystkie parametry na każdym GPU.

W tym wariancie NCCL wszyscy wysyłają taką samą liczbę elementów tego samego typu. Równe rozmiary to warunek omawianego API; nie należy go bez sprawdzenia przenosić na warianty zbierające fragmenty o różnych długościach.

Reduce-scatter łączy odpowiadające sobie elementy wkładów i rozdziela wynik na fragmenty między uczestników. Przy sumowaniu każdy element zawiera wkład wszystkich, lecz każdy uczestnik dostaje wyłącznie przypisaną część.

Trzy listy długości sześć mogą po zsumowaniu dać sześć wartości. Przy równym podziale każde z trzech urządzeń otrzymuje dwie. Numer uczestnika grupy, zwany rankiem, określa przypisanie fragmentu.

To różni się od All-reduce, który daje każdemu pełny wynik. Suma nie jest średnią bez dodatkowego dzielenia. All-gather może później zebrać rozdzielone części u każdego. Tabela i eksperyment pokazują wkłady bez ukrywania tego rozróżnienia.

Mechanizm i szczegóły

W NCCL, sekcji ReduceScatter, fragmenty mają równy rozmiar i trafiają do uczestników według ranku. Dla trzech ranków i dwóch elementów wyniku na rank każdy bufor wejściowy ma sześć elementów. Ten związek opisuje parametr recvcount w API ncclReduceScatter.

Cała suma, ale tylko kawałek dla każdego

Własny przykład z trzema rankami:

Pierwsza suma to 1 + 10 + 100 = 111. Rank 0 otrzymuje ją razem z drugą sumą; nie dostaje pozostałych czterech. To odróżnia Reduce-scatter od All-reduce, który pozostawia cały zredukowany bufor u każdego uczestnika. Suma nie jest średnią: uśrednienie wymaga dodatkowego dzielenia.

Zmień ostatnią liczbę ranku 2. Który fragment wyniku się zmieni? Następnie zbierz fragmenty przez All-gather: otrzymasz pełną sumę na każdym ranku, bez powtórnego sumowania.

Związek z treningiem

W ZeRO podział gradientów pozwala każdemu procesowi aktualizować przydzielone parametry. Praca ZeRO, §7.2.1, opisuje redukcję gradientów do ich właścicieli, a następnie zebranie zaktualizowanych parametrów. Pomiędzy tymi operacjami zachodzi krok optymalizatora; demonstracja pokazuje prostsze złożenie dwóch kolektywów na niezmienionych fragmentach.

Równoważność Reduce-scatter → All-gather z All-reduce dotyczy wyniku przy zgodnym podziale i tej samej redukcji. Nie gwarantuje identycznego czasu ani konkretnej topologii komunikacji.

Meta-learning to uczenie sposobu adaptacji albo punktu startowego ułatwiającego adaptację. Oceniamy nie tylko wyjściową odpowiedź, lecz również wynik po wykorzystaniu informacji z nowego zadania.

W tym dydaktycznym przykładzie proces ma dwa poziomy. Wewnętrzny dostosowuje model do pisma jednej osoby na kilku literach. Zewnętrzny sprawdza wynik na jej pozostałych literach i wykorzystuje wiele takich zadań, żeby wykształcić lepszy sposób adaptacji. Przy nowej osobie stosujemy wyuczony sposób, a skuteczność znów oceniamy na przykładach niewykorzystanych do dostosowania. MAML, §2, jest przykładem dotyczącym startowych parametrów; harness learning, §4, dotyczy adaptacji programu organizującego pracę modelu.

Samo ręczne poprawianie systemu kilka razy nie jest jeszcze meta-learningiem. Trzeba wskazać, co wcześniejsze uczenie wykształciło i czy pomaga na nowych zadaniach. Do oceny potrzebne są przykłady oddzielone od tych użytych podczas adaptacji.

W artykule o harness learning zmienia się kod AI Harness, a model proponujący poprawki był wcześniej uczony z ich wyników. To odróżnia mechanizm adaptacji od zwykłego zapisania nowego skryptu.

Adam to optymalizator, czyli algorytm wyliczający aktualizacje wag. Wagi są liczbami sterującymi obliczeniami. Gradient mówi, jak ich mała zmiana wpływa na stratę — liczbową ocenę błędu.

Dla każdej wagi Adam pamięta średnią kroczącą gradientów oraz średnią ich kwadratów. Pierwsza podtrzymuje informację o kierunku, druga pomaga dostosować skalę kroku. Nowsze obserwacje mają większy udział; algorytm uwzględnia też korektę początkowego obciążenia tych średnich.

To ułatwia prowadzenie treningu, ale nie gwarantuje znalezienia najlepszego rozwiązania. Dwie zapamiętane liczby na wagę zajmują dodatkową pamięć, którą ZeRO może rozdzielać między urządzenia. Szczegóły obliczeń i ograniczenia opisano poniżej.

Mechanizm i szczegóły

Najpierw model przetwarza przykłady, a funkcja straty, np. Cross-entropy, mierzy błąd. Następnie obliczany jest gradient: informacja, jak mała zmiana każdej wagi wpływa na stratę. Adam korzysta z gradientów, żeby wyznaczyć aktualizację wag.

Co Adam pamięta?

Dla każdej wagi przechowuje dwie liczby:

• Średnią kroczącą gradientów — zachowuje informację o kierunku zmian z poprzednich kroków. Nowsze gradienty mają większy udział niż starsze.
• Średnią kroczącą kwadratów gradientów — opisuje ich skalę bez względu na znak. Służy do dostosowania wielkości aktualizacji osobno dla każdej wagi.

Są to estymaty pierwszego i drugiego momentu. Druga liczba nie jest zwykłą wariancją: algorytm uśrednia kwadraty gradientów bez odejmowania średniej. Adam koryguje też początkowe zaniżenie obu średnich wynikające z rozpoczęcia od zera. Mechanizm opisują Kingma i Ba, §2–3 i algorytm 1.

Mały przykład

Własne podstawienie do reguły Adama: po korekcie początkowego zaniżenia średnia gradientów wynosi 2, a średnia ich kwadratów 4. Adam dzieli 2 przez pierwiastek z 4, otrzymując 1. Przy współczynniku uczenia (learning rate) 0,001 odejmuje więc od wagi około 0,001. Waga 0,5 zmienia się na około 0,499. Pomijamy tu bardzo małą stałą dodawaną w mianowniku dla stabilności obliczeń.

Adam nadal wymaga dobrania współczynnika uczenia. Dostosowanie kroku do historii gradientów nie gwarantuje spadku błędu po każdej aktualizacji.

Dlaczego pojawia się przy ZeRO?

Dwie statystyki na każdą z miliarda wag, zapisane jako liczby FP32 po 4 bajty, zajmują 8 GB — jeszcze bez samych wag, gradientów i pozostałych danych treningu. To własny rachunek, z dziesiętnym GB.

ZeRO rozdziela między GPU m.in. te pomocnicze dane, czyli stan optymalizatora. Adam określa sposób aktualizacji wag, a ZeRO organizuje przechowywanie i wymianę potrzebnych danych. W recepturze Mixed Precision Training analizowanej w pracy ZeRO, §3.1 dochodzi jeszcze kopia wag FP32.

Zobacz także: AdamW — wariant, który oddziela kurczenie wag od kroku wynikającego z danych.

bfloat16 (BF16) to format 16-bitowy z zakresem rzędów wielkości zbliżonym do FP32, typowego formatu 32-bitowego, ale mniejszą precyzją zapisu. W porównaniu z innym formatem 16-bitowym, FP16, więcej bitów przeznacza na wykładnik — określający skalę liczby — kosztem szczegółów jej części znaczącej.

Na przykład 1,001 i 1,002 po zaokrągleniu do najbliższej liczby BF16 obie stają się 1. Nie znaczy to, że format nie zapisze ogromnej wartości: zakres i dokładność są odrębnymi cechami.

BF16 różni się od FP16 mimo identycznej liczby bitów. Szerszy zakres bywa użyteczny w Mixed Precision Training, lecz nie usuwa błędów zaokrągleń ani potrzeby dokładniejszych operacji w niektórych miejscach.

Mechanizm i szczegóły

Autorzy Cloud TPU opisują podział bitów w „Bfloat16 semantics”. Dla porównania:

Dla liczb normalnych dochodzi wiodąca jedynka niewpisywana do tych pól. Siedem zapisanych bitów daje więc osiem bitów precyzji znaczącej.

Zasięg nie jest dokładnością

Własny eksperyment: liczba $1+2^{-10}=1{,}0009765625$ mieści się dokładnie w FP16, lecz w BF16 zaokrągla się do 1. Najbliższa większa od 1 liczba BF16 to $1+2^{-7}=1{,}0078125$. Za to $2^{16}=65536$ przepełnia FP16, a BF16 zapisuje ją dokładnie. Mała $2^{-30}$ znika w FP16 do zera, lecz jest normalną liczbą BF16.

Dwie wartości mogą zatem zajmować po dwa bajty, a zachowywać się inaczej. BF16 nie jest „dokładniejszym FP16”. Oszczędność dotyczy reprezentowanych tensorów, nie automatycznie całej pamięci treningu.

W Mixed Precision Training różne operacje mogą korzystać z różnych formatów. Cloud TPU mnoży wartości BF16, lecz sumuje iloczyny w FP32. Dokumentacja opisuje również konwersję: zaokrąglanie do najbliższej wartości, przy remisie do parzystej; na TPU wartości subnormalne BF16 są zerowane. Tego zachowania sprzętu nie należy utożsamiać ze wszystkimi implementacjami formatu.

Szeroki zakres zmniejsza potrzebę Loss Scaling znanego z FP16. Nie odzyskuje jednak szczegółu utraconego przez zaokrąglenie przy liczbie 1. Wybór formatu nadal wymaga sprawdzenia zachowania konkretnego modelu i operacji.

Gradient Clipping ogranicza gradient — listę liczb opisującą wpływ wag na błąd. W wariancie norm clipping skraca całą listę proporcjonalnie, jeśli jej długość przekracza ustalony próg. Kierunek pozostaje ten sam.

Lista [6, 8] ma długość 10. Przy progu 5 dostajemy [3, 4]. To jak skrócenie strzałki bez jej obracania. Obcinanie każdej współrzędnej osobno jest innym wariantem i może zmienić kierunek.

Ograniczenie gradientu nie jest automatycznie tym samym ograniczeniem ostatecznego kroku każdego optymalizatora, np. Adama. Nie rozwiązuje też zanikających gradientów. Przy Loss Scaling kolejność odskalowania i clippingu ma znaczenie.

Mechanizm i szczegóły

Dla gradientu $g$, normy euklidesowej $\|g\|_2$ i progu $c>0$:

Pascanu, Mikolov i Bengio, §3.2, algorytm 1 opisują tę strategię wobec gwałtownych wzrostów gradientu w RNN. Sam clipping nie rozwiązuje problemu zanikających gradientów.

Skróć strzałkę, zachowaj kierunek

Własny przykład: $g=[6,8]$ ma normę 10. Przy progu 5 otrzymujemy $[3,4]$. Dla zwykłego SGD bez momentum i learning rate 0,1 krok $-0{,}1\widetilde g$ ma długość 0,5 zamiast 1. Tego ograniczenia długości kroku nie można automatycznie przenieść na Adam, który przekształca gradient za pomocą własnego stanu.

Przycinanie każdej współrzędnej osobno do przedziału $[-5,5]$ daje natomiast $[5,5]$: zmienia kierunek i pozostawia normę około 7,07. Oba warianty są użyteczne, lecz próg oznacza w nich coś innego.

W PyTorch clip_grad_norm_ norma obejmuje łącznie gradienty przekazanych parametrów. Liczenie osobnego limitu dla każdej warstwy da inne ograniczenie. Wartość NaN lub infinity wymaga diagnostyki; error_if_nonfinite=True pozwala jawnie zatrzymać taką aktualizację.

Kolejność zmienia wynik

Przy Loss Scaling najpierw odskaluj gradienty, aby próg odnosił się do ich rzeczywistej wielkości. Przy Gradient Accumulation zrób to po zebraniu całej efektywnej porcji, potem zastosuj clipping i krok. Taką kolejność podają przykłady AMP w PyTorch.

Clipping jest nieliniowy. Dwa wkłady 10 i −9 sumują się do 1; przycięcie sumy do przedziału [−5,5] zachowa 1. Przycięcie wkładów osobno da 5 i −5, czyli sumę 0. To własny kontrprzykład pokazujący, dlaczego granica akumulacji ma znaczenie.

ZeRO (Zero Redundancy Optimizer) rozdziela wybrane stany treningu między urządzenia. Stan optymalizatora to pamiętane przez algorytm aktualizacji dane, np. średnie gradientów w Adamie. Gradient opisuje wpływ wagi na błąd modelu.

ZeRO-1 dzieli stan optymalizatora. ZeRO-2 dodatkowo dzieli zredukowane gradienty, a ZeRO-3 także wagi. Potrzebne fragmenty są uzgadniane lub zbierane na czas odpowiednich obliczeń.

Zmniejszamy duplikowanie pamięci, ale dokładamy komunikację i organizację danych. ZeRO nie zastępuje Adama nową regułą wyznaczania poprawki ani nie daje automatycznej oszczędności całej pamięci w tej samej proporcji. Pozostają np. wyniki pośrednich obliczeń.

Mechanizm i szczegóły

Przykładem takich pomocniczych danych są dwie statystyki gradientów zapamiętywane dla każdej wagi przez Adama — algorytm obliczający, jak zmieniać wagi podczas nauki. Nazywamy je stanem optymalizatora. Adam określa sposób aktualizacji wag, a ZeRO pozwala rozdzielić potrzebne do niej dane między karty.

Trzy kolejne etapy obejmują coraz więcej danych:

1. ZeRO-1: dzieli stan optymalizatora.
2. ZeRO-2: dodatkowo dzieli zredukowane gradienty.
3. ZeRO-3: dodatkowo dzieli parametry modelu; potrzebne części są zbierane na czas obliczeń i ponownie rozdzielane.

Tak definiuje etapy dokumentacja DeepSpeed. Każdy obejmuje optymalizacje poprzedniego. Offload na CPU lub NVMe jest dodatkową możliwością, nie synonimem ZeRO-3.

Co właściwie znika z pamięci?

W recepturze Mixed Precision Training z optymalizatorem Adam analizowanej przez Rajbhandari et al., §3.1 i §5, na parametr przypada 16 bajtów: 2 na wagę FP16, 2 na gradient oraz 12 na kopię wagi FP32 i dwie statystyki gradientów przechowywane przez Adama. Przy $P$ parametrach i $N$ procesach idealny rozmiar przechowywanego stanu na proces wynosi:

Własne podstawienie: miliard parametrów i cztery GPU dają odpowiednio 16, 7, 5,5 i 4 GB na GPU, przy dziesiętnym GB. Zwiększ liczbę GPU w demonstracji: w etapach 1 i 2 pozostaje część niedzielona.

Te liczby nie są szczytowym zużyciem VRAM. Nie obejmują aktywacji, buforów komunikacji ani chwilowego zebrania parametrów. Activation Checkpointing ogranicza inną część rachunku — zapamiętane aktywacje.

Stan potrzebny do obliczeń trzeba dostarczyć. W analizie §7 pracy ZeRO etapy 1–2 zachowują wolumen komunikacji bazowego DP, a etap 3 zwiększa go około 1,5 raza. To model komunikacji z konkretnymi założeniami, nie obietnica czasu treningu. Oszczędność pamięci i szybkość trzeba oceniać osobno.

Zobacz także: Reduce-scatter redukuje gradienty do przydzielonych fragmentów, a All-gather zbiera rozdzielone parametry. Między redukcją gradientów a zebraniem zaktualizowanych parametrów zachodzi krok optymalizatora (§7.2.1 pracy ZeRO).

Gradient Accumulation zbiera gradienty, czyli informacje o wpływie wag na błąd, z kilku przebiegów. Wagi pozostają niezmienione do końca zbierania, a optymalizator — algorytm aktualizacji — wykonuje dopiero jeden wspólny krok.

Cztery równe porcje po osiem przykładów dają efektywną grupę 32. Żeby odpowiadać średniej dużej grupy, trzeba właściwie uśrednić wkłady. Przy nierównych porcjach znaczenie ma liczba ocenianych przykładów lub tokenów, czyli kawałków tekstu.

To nie jest to samo co cztery kolejne aktualizacje wag. Nie każda operacja modelu zachowuje się identycznie po podziale grupy, dlatego równoważność z jedną wielką porcją wymaga sprawdzenia założeń.

Mechanizm i szczegóły

Przy równych porcjach po $b$ przykładów i $k$ przebiegach jeden krok obejmuje $bk$ przykładów. Z $p$ replikami Data Parallelism jest to $bkp$, jeśli każda dostaje odrębne dane. Dokumentacja PyTorch 2.11, Gradient accumulation pokazuje dodawanie gradientów i aktualizację dopiero po całej porcji.

Średnia musi mieć właściwy mianownik

Jeżeli $g_j$ jest gradientem średniej straty z porcji liczącej $n_j$ przykładów, gradient średniej po wszystkich przykładach wynosi:

Dzielenie każdej straty przez liczbę porcji wystarcza przy równych rozmiarach. Przy nierównych trzeba uwzględnić liczebności. Dla Cross-entropy uśrednianej po tokenach liczą się oceniane tokeny, również z uwzględnieniem Loss masking. To wynika z liniowości sumy i różniczkowania.

Własny przykład poniżej używa czterech celów $[0,0,0,8]$, jednej wagi $w=1$ i straty $\ell=\frac12(w-y)^2$. Gradienty to $[1,1,1,-7]$, więc średnia wynosi $-1$. Jeden krok SGD z learning rate 0,25 daje $w=1{,}25$, niezależnie od podziału danych. Zobacz, co zepsuje podział 3+1 i zwykła średnia dwóch średnich.

Zgodność z dużym batchem zakłada tę samą funkcję straty i te same parametry podczas wszystkich przebiegów. Operacje zależne od całego batcha, losowość i zaokrąglenia mogą ją naruszyć. Wykonanie kroku optymalizatora po każdej porcji zmienia już sam algorytm.

Przy DDP można odroczyć synchronizację przez no_sync(). Kontekst musi obejmować również forward; pierwszy przebieg poza nim synchronizuje zgromadzone gradienty. Opisuje to dokumentacja DistributedDataParallel.