Residualverbindung

Das Modell verarbeitet die Textbeschreibung durch viele Schichten. Müsste jede Schicht die gesamte Information von Grund auf neu aufbauen, könnte das ihre Weitergabe leicht erschweren. Hilfreich ist, die Eingabe zu bewahren und ihr nur die berechnete Änderung hinzuzufügen.

Eine Residual Connection verbindet die Eingabe eines Blocks durch Addition mit seinem Ergebnis. Der Block kann eine Korrektur lernen, statt die gesamte frühere Beschreibung zu ersetzen. Ist die Eingabeliste der Zahlen h und die berechnete Korrektur u, wird h + u weitergegeben.

Für die Eingabe (2, 5) und die Korrektur (1, −2) erhalten wir (3, 3). Wir kopieren die Eingabe nicht unverändert: Wir bewahren den direkten Beitrag beider Zahlen und verändern sie. Solche Verbindungen helfen, das Signal weiterzugeben und tiefe Netze zu trainieren. He und Mitautoren, §3, stellen Residual Learning vor.

Im Transformer umgibt die Addition die Hauptteile der Blöcke. Eine Residual Connection garantiert nicht, dass der Fehler einer früheren Schicht entfernt wird: Die Korrektur kann ihn verringern oder verstärken. Das hängt von ihrer Richtung und Größe ab, wie das Beispiel der Quantisierungsfehler zeigt.