Residual connection

Model przetwarza opis tekstu przez wiele warstw. Jeśli każda warstwa miałaby od nowa zbudować całą informację, łatwo byłoby utrudnić przekazywanie jej dalej. Pomocne jest zachowanie wejścia i dodawanie do niego wyłącznie wyliczonej zmiany.

Residual connection łączy wejście bloku z jego wynikiem przez dodawanie. Blok może uczyć się poprawki, zamiast zastępować cały wcześniejszy opis. Jeżeli wejściowa lista liczb to h, a wyliczona poprawka to u, dalej trafia h + u.

Dla wejścia (2, 5) i poprawki (1, −2) otrzymujemy (3, 3). Nie kopiujemy wejścia bez zmian: zachowujemy bezpośredni udział obu liczb i modyfikujemy je. Takie połączenia pomagają przekazywać sygnał i uczyć głębokie sieci. He i współautorzy, §3, przedstawiają residual learning.

W Transformerze dodawanie otacza główne części bloków. Residual connection nie gwarantuje, że błąd wcześniejszej warstwy zostanie usunięty: poprawka może go zmniejszyć albo wzmocnić. To zależy od jej kierunku i wielkości, co pokazuje przykład błędów kwantyzacji.