Residual connection

Residual connection przekazuje wejście bloku dalej i dodaje do niego wynik obliczony przez ten blok. Jeśli wejście ma postać h, a blok oblicza aktualizację u, wyjście wynosi h + u. W Transformerze takie dodawanie występuje wokół głównych części obliczeniowych bloku.

Dla wejścia (2, 5) i aktualizacji (1, −2) wynikiem jest (3, 3). Aktualizacja może zwiększać jedne współrzędne i zmniejszać inne. Residual connection zachowuje bezpośredni udział wejścia w wyniku, co pomaga przekazywać informację przez wiele warstw.

Przy porównywaniu dokładniejszego i przybliżonego przebiegu modelu różnica wyjść jest sumą różnicy wejść oraz różnicy aktualizacji. Te dwa wektory mogą się wzmacniać lub częściowo znosić. Sama obecność residual connection nie gwarantuje kompensacji: zależy ona od obliczonych wartości i ich kierunków.

W 42da⁝ Błędy kwantyzacji częściowo znoszą się między warstwami modelu ta zależność pozwala prześledzić propagację błędu, a następnie sprawdzić ją przez zmianę kierunku różnicy aktualizacji.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.