Invariancia de escala
Duplicas todos los números de una parte del modelo. ¿Cambia la respuesta? A veces la siguiente operación de normalización elimina la escala común y el resultado sigue siendo el mismo. En otras estructuras, ese reescalado cambia el funcionamiento.
Scale invariance significa invariancia respecto a un reescalado determinado. Hay que decir qué se escala y qué debe permanecer igual: la salida del modelo o el valor de su error. En el contexto de esta nota, preguntamos cómo influye multiplicar los pesos por un número positivo.
Un ejemplo sencillo: las listas [1, 2] y [2, 4], al dividirlas por su longitud geométrica —la raíz cuadrada de la suma de los cuadrados—, dan la misma dirección normalizada. Por tanto, la normalización puede eliminar la información sobre la magnitud común. Esto hace que la dirección de los cambios de los pesos y su tamaño desempeñen papeles distintos en el aprendizaje.
Sin embargo, no se puede considerar que todo el Transformer sea invariante solo porque contenga RMSNorm. Otras rutas de cálculo y las puntuaciones finales de los candidatos pueden conservar el efecto de la escala. El estudio del paso efectivo de aprendizaje, §2 y §5, distingue la simetría matemática de la similitud empírica de las curvas de entrenamiento.
Relaciones
La tasa de aprendizaje no basta. Lo que cuenta es ELR [Polski]