Gradient Surgery

Un modelo lee «Mi paquete no ha llegado; lo necesito para mañana» y aprende dos tareas: elegir un departamento y reconocer la urgencia. Ambas usan ajustes compartidos: números que controlan el procesamiento del texto. Sin embargo, una corrección que ayuda a elegir el departamento puede empeorar la valoración de la urgencia. Sumar las dos correcciones propuestas no comprueba si interfieren entre sí.

Gradient Surgery modifica las indicaciones para cambiar los ajustes antes de un paso de aprendizaje conjunto, para reducir el conflicto entre tareas. Uno de estos métodos es PCGrad: elimina de cada indicación el componente que se opone a la otra tarea. Yu et al., Gradient Surgery for Multi-Task Learning, §2.3, algoritmo 1 describen esta regla concreta.

¿Qué corregimos exactamente?

Cada tarea recibe una pérdida: un número que valora el error de la respuesta; cuanto menor, mejor. A partir de ella calculamos un gradiente, una lista que indica cómo afectan pequeños cambios de los ajustes a la pérdida. El gradiente apunta hacia su aumento local. Un paso de aprendizaje ordinario avanza en sentido contrario.

Imaginemos solo dos ajustes compartidos. Para el departamento, el gradiente es [1; 0]: aumentar el primer ajuste eleva la pérdida, mientras que el segundo no la cambia en ese punto. Para la urgencia, el gradiente es [-2; 1]. La suma es [-1; 1], así que un paso en sentido contrario aumenta el primer ajuste. Ayuda a la urgencia, pero perjudica localmente la elección del departamento.

PCGrad elimina los componentes en conflicto antes de sumar: el primer gradiente pasa a ser [0,2; 0,4] y el segundo [0; 1]. Su suma es [0,2; 1,4]. Ahora el paso reduce ambos ajustes; para un paso suficientemente pequeño, la aproximación local predice que ambas pérdidas bajan. Es un ejemplo numérico propio, no una medición de un modelo ni una prueba de lo que significan sus ajustes reales.

Comprueba el conflicto y el límite

En la demostración, el tamaño del paso es 0,1. Sin corrección, el cambio de los ajustes es [0,1; −0,1] y el cambio aproximado de la pérdida del departamento es +0,1. Tras PCGrad obtenemos [−0,02; −0,14] y −0,02. Un resultado positivo indica empeoramiento; uno negativo, mejora. Cambia de caso y comprueba si la corrección siempre produce movimiento.

PCGrad deja intactos los gradientes sin conflicto. Con direcciones exactamente opuestas puede anular ambos y detener el paso. Esta limitación se trata en §2.4, teorema 1. Además, la aproximación local no garantiza una mejora tras un paso grande ni mejores respuestas a mensajes nuevos. El conflicto de gradientes por sí solo no demuestra que el aprendizaje conjunto sea perjudicial; los autores también analizan las diferencias de magnitud y la forma de la función de pérdida (§2.2).

Conceptos relacionados

• Multi-task Learning combina tareas en un aprendizaje conjunto; PCGrad corrige su influencia sobre los ajustes compartidos.
• Negative Transfer significa un empeoramiento respecto al aprendizaje sin la tarea adicional. PCGrad intenta reducir uno de los posibles mecanismos del daño.
• Stochastic Gradient Descent [Polski] puede dar un paso con los gradientes corregidos. PCGrad cambia la indicación que recibe.

El texto y la ilustración se prepararon con ayuda de IA. El mensaje y los números son un ejemplo educativo simplificado propio; la demostración muestra la geometría de un paso, no el entrenamiento de un modelo de lenguaje.