Término del glosario · · 3 min de lectura
GradNorm
Un modelo lee «El paquete no ha llegado; lo necesito para mañana» y aprende dos cosas: elegir un departamento y reconocer la urgencia. Evaluamos cada habilidad con una pérdida, un número que describe el error de la respuesta; cuanto menor, mejor. Tras un tiempo, la pérdida del departamento ha bajado de 1 a 0,2, mientras que la de urgencia sigue en 1. Los coeficientes fijos para ambas pérdidas no reaccionan a que una tarea avance y la otra esté estancada.
GradNorm es un método para ajustar automáticamente estos coeficientes durante el aprendizaje conjunto. Examina la reducción relativa de las pérdidas y la fuerza de las señales que modifican los ajustes compartidos del modelo. Es, por tanto, una variante adaptativa de Task Weighting, que regula la contribución de las tareas al objetivo de aprendizaje. El algoritmo se describe en Chen et al., §3 y algoritmo 1.

La misma fuerza no significa el mismo progreso
Un gradiente describe cómo responde la pérdida a pequeños cambios en los ajustes del modelo. Su norma es un único número que mide la magnitud de esa señal, sin indicar su dirección. GradNorm compara las normas para una misma parte seleccionada de los ajustes compartidos, normalmente la última capa de cálculos compartida.
En nuestro ejemplo, supongamos que ambas tareas tienen ahora una norma de 3, incluidos sus coeficientes. Las señales son igual de grandes, pero el departamento ha reducido su pérdida al 20% de su valor inicial, mientras que urgencia sigue en el 100%. La media de estas proporciones es el 60%. Al dividir cada una por la media obtenemos 1/3 y 5/3: el número mayor indica un progreso relativo más lento.
Con la intensidad de compensación en α = 1, GradNorm fija normas objetivo de 3 × 1/3 = 1 para el departamento y 3 × 5/3 = 5 para urgencia. Corrige los coeficientes para acercar las señales a esos objetivos; no cambia las normas instantáneamente a los valores fijados. Después de la actualización, reescala los coeficientes para que su suma siga siendo igual al número de tareas.
Son números inventados por nosotros. El cambio afecta a la influencia de las tareas sobre el aprendizaje posterior, no a la confianza en una respuesta concreta. El mecanismo pertenece a Multi-task Learning, donde varias tareas utilizan una parte compartida del modelo.
Cambia la regla de compensación
El objetivo se calcula con la fórmula de §3.2, ecuación 1:
es la media de las normas actuales (3), y es la proporción de pérdida restante de la tarea dividida por la media de esas proporciones. El parámetro regula cuánto cambian los objetivos según las diferencias de progreso. Con α = 0, ambos objetivos valen 3, pese al distinto progreso. En la demostración, cambia α y después intercambia el progreso de las tareas: ¿el objetivo sigue el nombre de la tarea o su progreso?
Los valores del experimento solo muestran el cálculo de objetivos para un momento del aprendizaje; no simulan actualizaciones del modelo.
Dónde puede fallar la regla
La falta de progreso puede deberse a una tarea que el modelo no es capaz de aprender. En ese caso, la regla puede aumentar su participación de forma persistente. Los autores describen este problema en el suplemento §7.2. Además, cambiar la magnitud de las señales no elimina las direcciones contradictorias; de ellas se ocupa Gradient Surgery. Los experimentos del artículo se refieren a datos sintéticos e imágenes; el mensaje sobre el paquete es nuestro ejemplo, no un resultado para LLM.
El texto y la ilustración se prepararon con ayuda de IA.