Continual Learning
Un modelo dirige los mensajes de los clientes a los departamentos de «pedidos» y «devoluciones». Sabe reconocer «¿Dónde está mi paquete?». Ahora la empresa abre un departamento de reclamaciones. Sigues entrenando el modelo con mensajes sobre productos dañados. Clasifica cada vez mejor las reclamaciones, pero algunas preguntas sobre entregas también empiezan a llegar al nuevo departamento. Evaluar solo las reclamaciones daría una falsa impresión de progreso.
Necesitas enseñar cosas nuevas al modelo conservando sus capacidades anteriores. Ese es el objetivo de Continual Learning: aprender de datos o tareas que llegan de forma sucesiva, teniendo en cuenta lo que el modelo ya ha aprendido. El nombre designa un problema y una familia de enfoques; no garantiza que desaparezca el olvido. Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §1 describen esta necesidad.
Qué cambia en el entrenamiento y la evaluación
Supongamos que ya no está disponible el archivo completo de ejemplos usados en el entrenamiento anterior. Antes de eliminarlo, guardamos una pequeña muestra: 20 mensajes con sus departamentos correctos conocidos. Uno de los métodos posibles consiste en mezclar esta muestra con los nuevos ejemplos de reclamaciones. Así, el entrenamiento posterior también recibe una señal para seguir atendiendo correctamente «¿Dónde está mi paquete?». Reutilizar ejemplos anteriores es una de las estrategias descritas por van de Ven y Tolias, Three scenarios for continual learning, §3.3.
El equipo de evaluación conserva una prueba independiente de mensajes antiguos, que no usamos para entrenar. Después de cada actualización, comprobamos las categorías antiguas y las nuevas. Las cifras siguientes son un ejemplo inventado, no resultados de una investigación; cada prueba contiene 100 mensajes.
| Variante del modelo | Antiguos: aciertos | Nuevos: aciertos |
|---|---|---|
| Antes de aprender lo nuevo | 90/100 | 0/100 — esta categoría todavía no existe |
| Tras aprender solo lo nuevo | 40/100 | 92/100 |
| Tras aprender con la muestra | 89/100 | 87/100 |
La última variante conserva mejor la capacidad anterior, aunque reconoce las reclamaciones peor que la segunda. La tabla muestra qué comparar; no promete ese resultado por añadir 20 ejemplos.
Las condiciones cambian la dificultad
En nuestro ejemplo, el modelo elige entre todos los departamentos que ha aprendido. Una pista como «este mensaje pertenece a la nueva categoría» facilitaría la prueba. La disponibilidad de esas pistas y de los límites entre tareas importa al comparar métodos (van de Ven y Tolias, §2–2.3). Una muestra pequeña puede omitir preguntas poco frecuentes; un buen promedio no demuestra que se haya conservado cada capacidad.
- Catastrophic Forgetting [Polski] describe un deterioro considerable de las capacidades anteriores; su demostración muestra cómo el nuevo entrenamiento cambia los ajustes compartidos.
- Fine-tuning consiste en seguir entrenando un modelo con ejemplos seleccionados. Tras los entrenamientos sucesivos, también comprobamos sus capacidades anteriores.
- Knowledge Distillation puede transmitir indicaciones de un modelo anterior al que se está actualizando; es una estrategia distinta de conservar los mensajes originales (§3.3 del trabajo de van de Ven y Tolias).
El texto y la ilustración se prepararon con ayuda de IA; los mensajes, el tamaño de la muestra y los resultados de la tabla son un ejemplo educativo propio. La ilustración muestra el objetivo de conservar las capacidades anteriores, no la estructura del modelo.