Embedding posicional rotatorio

El modelo compara fragmentos de texto, pero también necesita saber a qué distancia se encuentran. «Ayer» junto al verbo puede desempeñar un papel distinto que la misma palabra en una cita lejana. ¿Cómo incorporar la posición a la comparación de descripciones numéricas?

Rotary Position Embedding (RoPE) rota pares de números en query y key según la posición del token, es decir, un fragmento de texto. Query y key son vectores: listas de números que se comparan en attention.

Imagina dos flechas de longitudes determinadas. La posición fija su ángulo de rotación. Al compararlas importa la diferencia de ángulos y, por tanto, la diferencia de posiciones. En un modelo real se rotan muchos pares con distintas frecuencias.

Es una analogía de una operación sobre números, no un movimiento del texto en la memoria. RoPE no prohíbe el acceso al futuro ni garantiza un buen funcionamiento más allá de las longitudes conocidas durante el entrenamiento. Difiere de sumar una señal de posición en el Positional Encoding original.

Mecanismo y detalles

A diferencia de la suma de un vector en la codificación posicional original, aquí cambia la orientación de las consultas y las claves. Para una pareja bidimensional $u=(a,b)$, la rotación de ángulo $\phi$ da:

$$R(\phi)u=(a\cos\phi-b\sin\phi,\ a\sin\phi+b\cos\phi)$$

La rotación conserva la longitud del vector. Su et al., RoFormer, §3.1–3.2 derivan la construcción y combinan muchas parejas de este tipo con frecuencias distintas.

Desplaza ambos tokens y comprueba el resultado

Si las consultas y las claves sin rotar permanecen fijas, entonces:

$$(R(m\theta)q)^\top R(n\theta)k=q^\top R((n-m)\theta)k$$

$m$ y $n$ son las posiciones, y $\theta$ el ángulo por unidad de distancia para esa pareja. El resultado depende de la diferencia entre posiciones. Desplazar ambas posiciones por igual rota las flechas, pero conserva su producto escalar.

El ejemplo propio utiliza $q=k=(1,0)$ y un $\theta=30^\circ$ convencional. A una distancia de 1, el producto es aproximadamente 0,866; a 6, es −1; y a 12, vuelve a ser 1. Es una pareja y una frecuencia deliberadamente sencilla, no la receta completa del modelo. El trabajo original utiliza $\theta_i=10000^{-2i/d}$ radianes para la pareja con índice $i=0,\ldots,d/2-1$.

El resultado mostrado es un componente del cálculo de la atención por producto escalar escalado, antes del escalado y de Softmax. No es una probabilidad. En esta variante rotamos Q y K; V no necesita esa rotación. RoPE no sustituye al enmascaramiento causal.

El retorno de una sola pareja a la misma orientación también muestra por qué no debe suponerse que todo resultado disminuye monótonamente con la distancia. La propiedad de las posiciones relativas no demuestra por sí sola que el modelo completo funcione correctamente con textos de longitud arbitraria.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.