Elastic Weight Consolidation

Un modelo dirige las preguntas de los clientes a los departamentos «entrega» y «devoluciones». Ahora debe aprender a reconocer reclamaciones, pero ya no está permitido conservar los mensajes antiguos. Por tanto, no es posible repasarlos durante el entrenamiento. Lo único que queda de la tarea antigua es el propio modelo: millones de números ajustados durante el entrenamiento anterior, llamados pesos.

Se puede entrenar al modelo con reclamaciones sin ninguna restricción. Entonces los pesos se desplazan hacia donde eso ayuda a la nueva tarea, incluidos aquellos de los que dependía reconocer entrega y devoluciones. También se puede penalizar por igual cualquier cambio, pero entonces el modelo se aferra tanto a los ajustes antiguos que aprende mal lo nuevo. Hace falta responder a la pregunta: ¿qué pesos se pueden mover y cuáles es mejor no tocar?

Elastic Weight Consolidation (EWC) añade al entrenamiento de la nueva tarea una penalización por alejar los pesos de los valores que tenían tras la tarea antigua; la penalización es mayor cuanto más importante era ese peso para la tarea antigua. Los autores lo comparan con un muelle sujeto a cada peso: rígido en los pesos importantes, flojo en los demás (Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §2).

Dos pesos, una tarea nueva

Tomemos solo dos pesos. Tras aprender entrega y devoluciones, ambos valen 1. El primero es muy importante para los departamentos antiguos (importancia 10), el segundo casi indiferente (importancia 0,1). La nueva tarea solo exige que la suma de ambos pesos sea 4. Lo cumplen muchos ajustes: (2, 2), pero también (1, 3).

• Sin protección, el entrenamiento desplaza ambos pesos por igual, hasta (2, 2). La nueva tarea queda aprendida, pero el peso importante se ha alejado en 1 y la pérdida en la tarea antigua sube de 0 a 5,05.
• Una penalización igual para ambos pesos los detiene a medio camino, en (1,67, 1,67). La tarea antigua sufre menos, pero la suma es 3,33 en lugar de 4.
• EWC traslada casi todo el movimiento al peso poco importante: (1,02, 2,80). La suma es 3,82 y la pérdida en la tarea antigua es de solo 0,16.

La pérdida es un número que indica cuánto se equivoca el modelo; cuanto menor, mejor. En el experimento siguiente puedes cambiar la fuerza de la penalización λ y el modo de protección. El resultado se calcula de forma exacta para este ejemplo de dos pesos; no es una simulación de una red real.

Cómo se sabe qué peso es importante

En una red real nadie da la importancia de antemano. Se estima al terminar la tarea antigua, mientras sus datos aún están disponibles: se comprueba cuánto altera una pequeña modificación de un peso las respuestas del modelo en los ejemplos antiguos. El trabajo usa para ello la diagonal de la matriz de información de Fisher, es decir, un número de importancia por cada peso. Después los datos pueden eliminarse; quedan los valores antiguos de los pesos y sus importancias.

Durante el nuevo entrenamiento se minimiza la suma de dos términos (ecuación 3 del trabajo):

$$L(\theta) = L_B(\theta) + \sum_i \frac{\lambda}{2} F_i \,(\theta_i - \theta^*_{A,i})^2$$

$L_B$ es la pérdida en la nueva tarea, $\theta_i$ es el valor actual del peso número $i$, $\theta^*_{A,i}$ su valor tras la tarea antigua, $F_i$ su importancia, y $\lambda$ indica cuánto cuenta la tarea antigua frente a la nueva. En nuestro ejemplo, $F = (10;\ 0{,}1)$ y $\lambda = 1$.

Límites del método

La importancia es una aproximación calculada en un solo punto, por separado para cada peso. Los propios autores muestran que su estimación a veces está demasiado segura de qué pesos son irrelevantes, y lo llaman la principal debilidad del método (§2.2 y §3). En sus experimentos con juegos de Atari, un agente con EWC aprendió muchos juegos uno tras otro, pero no igualó a las redes separadas entrenadas para cada juego. Los resultados se refieren al reconocimiento de dígitos y a juegos, no a grandes modelos de lenguaje. Nuestros dos pesos y los mensajes de clientes son una simplificación propia.

• Catastrophic Forgetting [Polski] es un deterioro considerable de habilidades anteriores tras un nuevo entrenamiento; EWC intenta reducirlo sin acceso a los datos antiguos.
• Experience Replay resuelve el mismo problema de otra manera: guarda parte de los ejemplos anteriores en lugar de las importancias de los pesos.
• Continual Learning establece el objetivo, es decir, aprender tareas sucesivas conservando las anteriores; EWC es uno de los métodos.
• Fine-tuning es el entrenamiento posterior de un modelo ya preparado; EWC cambia su objetivo al añadir una penalización por mover los pesos importantes.

El texto y la ilustración se prepararon con ayuda de IA. Los dos pesos, sus importancias y la demostración son un ejemplo educativo propio y simplificado; la ilustración es una metáfora, no un esquema de la arquitectura del modelo.