Multi-task Learning

Una empresa quiere dirigir los mensajes de sus clientes al departamento adecuado y marcar los casos urgentes. «El paquete no ha llegado; lo necesito para mañana» debería ir a entregas con una marca de urgencia. Se pueden entrenar dos modelos separados: uno elige el departamento y otro la urgencia. Sin embargo, cada uno aprende por separado a leer mensajes similares. Si las etiquetas de urgencia ayudan a reconocer el significado de «lo necesito para mañana», el modelo que elige el departamento no aprovecha ese aprendizaje.

Multi-task Learning (MTL) consiste en entrenar varias tareas de forma conjunta para que puedan aprovechar parte de lo que aprenden las demás. En una variante sencilla de red neuronal, un modelo compuesto por operaciones conectadas y ajustables, las tareas comparten una parte que procesa la entrada y tienen salidas separadas. Rich Caruana, Multitask Learning, §1.3, figuras 1–2 describe esta estructura.

Dos evaluaciones cambian la lectura compartida

En nuestro ejemplo, cada mensaje tiene dos respuestas correctas anotadas por una persona: departamento y urgencia. La parte compartida del modelo convierte el texto en una lista de números que describen características útiles del mensaje. Dos terminaciones separadas utilizan la misma lista: una elige el departamento y otra la urgencia. Es una variante simplificada de MTL, no la única estructura posible.

Durante el entrenamiento comprobamos ambos resultados. Si el modelo elige «entregas» pero considera el caso no urgente, el error de la segunda tarea también puede modificar la parte compartida. Su nueva forma de describir los mensajes estará disponible igualmente para la tarea de elegir departamento. Entrenar la parte compartida a partir de ambas evaluaciones permite que fluya el conocimiento (Caruana, §3.2). Ejecutar dos modelos independientes a la vez no basta. «De forma conjunta» no exige calcular ambas tareas en el mismo instante: sus ejemplos pueden intercalarse durante un mismo entrenamiento (Kirkpatrick et al., §1).

El efecto buscado es reconocer mejor los mensajes nuevos gracias a indicaciones adicionales durante el aprendizaje. La mejora no está garantizada. Imaginemos que la parte compartida conserva sobre todo el tema del paquete, pero pierde el plazo «para mañana»: elegir departamento sigue funcionando, pero la evaluación de urgencia pierde información necesaria. Forzar demasiado las características compartidas puede perjudicar; Caruana lo trata en §7.5. Por eso hay que evaluar ambas habilidades por separado con mensajes no utilizados para entrenar. Esta limitación muestra por qué dos tareas no significan automáticamente el doble de beneficio.

¿De forma conjunta o en secuencia?

• Continual Learning trata del aprendizaje con datos que llegan sucesivamente, conservando las habilidades anteriores. En el MTL descrito, ambas tareas están disponibles durante el entrenamiento conjunto.
• Experience Replay permite volver a una muestra guardada de ejemplos anteriores cuando ya no está disponible el archivo completo. Es una condición diferente de acceso a los datos.
• Fine-tuning es el entrenamiento adicional de un modelo ya entrenado. Puede abarcar varias tareas; describe la etapa, mientras que MTL describe cómo se combinan las tareas.

El texto y la ilustración se prepararon con ayuda de IA. El mensaje y la descripción de las características son un ejemplo educativo propio; no representan una medición ni el interior literal de un modelo.