Conexión residual

El modelo procesa la descripción del texto a través de muchas capas. Si cada capa tuviera que reconstruir toda la información desde cero, sería fácil dificultar su transmisión. Resulta útil conservar la entrada y añadirle únicamente el cambio calculado.

Residual connection combina la entrada de un bloque con su resultado mediante una suma. El bloque puede aprender una corrección en lugar de sustituir toda la descripción anterior. Si la lista de números de entrada es h y la corrección calculada es u, se transmite h + u.

Para la entrada (2, 5) y la corrección (1, −2), obtenemos (3, 3). No copiamos la entrada sin cambios: conservamos la contribución directa de ambos números y los modificamos. Estas conexiones ayudan a transmitir la señal y a entrenar redes profundas. He y colaboradores, §3, presentan residual learning.

En Transformer, las sumas rodean las partes principales de los bloques. Una residual connection no garantiza que se elimine un error de la capa anterior: la corrección puede reducirlo o reforzarlo. Depende de su dirección y magnitud, como muestra el ejemplo de errores de cuantización.