Negative Transfer

Una empresa entrena un modelo para reconocer mensajes urgentes de sus clientes. «Mi paquete no ha llegado, lo necesito para mañana» requiere una respuesta rápida. Añadimos una segunda tarea: elegir un departamento, como entregas o devoluciones. Esperamos que el aprendizaje conjunto ayude a interpretar mejor el texto. Sin embargo, el modelo pasa por alto más casos urgentes. ¿Cómo comprobar si la tarea adicional ha perjudicado el resultado?

Negative Transfer es el empeoramiento del rendimiento en la tarea que nos interesa por utilizar conocimientos, datos o aprendizaje compartido con otra tarea. Hay que indicar una referencia: cómo funciona un aprendizaje comparable sin ese añadido. Wang et al., Characterizing and Avoiding Negative Transfer, §3, ecuaciones 3–4 formalizan esta comparación para la transferencia de conocimiento de datos de origen a una tarea de destino. Aquí mostramos un fenómeno relacionado en el aprendizaje conjunto de dos tareas, que también describen Yu et al., §1–2.2.

¿Qué pudo salir mal?

La parte compartida del modelo convierte el mensaje en una lista de números que describen características útiles del texto. Ambas tareas la utilizan. Durante el aprendizaje, las respuestas incorrectas provocan correcciones de los ajustes compartidos, es decir, de los números que controlan el procesamiento.

Para elegir el departamento importa el paquete; el plazo «para mañana» puede ser irrelevante. Si el aprendizaje de esta tarea orienta el procesamiento compartido solo hacia el tema, la evaluación de urgencia puede perder el acceso a la información sobre el plazo. Es un posible mecanismo de nuestro ejemplo, no una lectura del interior de un modelo real. Que las tareas necesiten información distinta no demuestra por sí solo que haya perjuicio: lo que cuenta es el resultado de la comparación.

Compara la misma habilidad

Prepara dos variantes: aprender solo la urgencia y aprender la urgencia junto con el departamento. Mantén los mismos mensajes y etiquetas de urgencia, un tamaño de modelo comparable y un presupuesto de cálculo comparable. Cambias la presencia de la tarea adicional, en lugar de comparar dos modelos arbitrariamente distintos.

Supongamos el siguiente resultado educativo inventado sobre los mismos 100 mensajes nuevos, no utilizados ni para entrenar ni para elegir ajustes:

Variante de aprendizaje	Evaluaciones incorrectas de urgencia
Solo urgencia	10 de 100
Urgencia y departamento conjuntamente	18 de 100

La tasa de error subió del 10% al 18%, es decir, 8 puntos porcentuales. En esta comparación, la tarea adicional perjudicó la evaluación de urgencia, aunque elija bien el departamento. El concepto permite nombrar un perjuicio que no revelaría por sí solo el buen resultado de la tarea adicional.

Una limitación: un único entrenamiento y 100 mensajes no bastan para una conclusión segura. Los resultados pueden variar. Repite los entrenamientos y comprueba si la diferencia persiste en datos representativos de los mensajes reales. La conclusión se refiere al modo de aprendizaje estudiado; no significa que cualquier combinación de estas tareas deba perjudicar el resultado.

Conceptos relacionados

• Multi-task Learning une el aprendizaje de varias tareas; Negative Transfer es un posible efecto no deseado de esa unión.
• Validation Set son datos reservados para elegir ajustes, como qué parte del modelo compartir.
• Test Set sirve para la evaluación final una vez cerrada la elección de ajustes. En un conjunto así contamos los errores de la tabla.
• Catastrophic Forgetting [Polski] describe la pérdida de habilidades anteriores durante el aprendizaje posterior. Negative Transfer no exige haber dominado antes una tarea y luego haberla olvidado.

El texto y la ilustración se prepararon con ayuda de IA. El mensaje, el mecanismo de pérdida de una característica y las cifras de la tabla son un ejemplo educativo propio, no resultados de los estudios citados.