Elastic Weight Consolidation

Um modelo encaminha as perguntas dos clientes para os setores “entrega” e “devoluções”. Agora ele precisa aprender a reconhecer reclamações, mas as mensagens antigas não podem mais ser guardadas. Não dá, portanto, para repeti-las durante o treinamento. Tudo o que restou da tarefa antiga é o próprio modelo: milhões de números ajustados ao longo do treinamento anterior, chamados de pesos.

É possível treinar o modelo nas reclamações sem nenhuma restrição. Nesse caso, os pesos se deslocam para onde isso ajuda a nova tarefa, inclusive aqueles dos quais dependia o reconhecimento de entrega e devoluções. Também é possível punir toda mudança da mesma forma, mas então o modelo se agarra aos ajustes antigos com tanta força que aprende mal a tarefa nova. É preciso responder à pergunta: em quais pesos se pode mexer e em quais é melhor não tocar?

Elastic Weight Consolidation (EWC) acrescenta ao treinamento da nova tarefa uma penalidade pelo afastamento dos pesos em relação aos valores que tinham depois da tarefa antiga, e essa penalidade é tanto maior quanto mais importante o peso era para a tarefa antiga. Os autores comparam isso a uma mola presa a cada peso: rígida nos pesos importantes, frouxa nos demais (Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §2).

Dois pesos, uma nova tarefa

Tomemos apenas dois pesos. Depois do treinamento em entrega e devoluções, os dois valem 1. O primeiro é muito importante para os setores antigos (importância 10); o segundo, quase indiferente (importância 0,1). A nova tarefa exige apenas que a soma dos dois pesos seja 4. Muitos ajustes satisfazem isso: (2, 2), mas também (1, 3).

• Sem proteção, o treinamento desloca os dois pesos por igual, até (2, 2). A nova tarefa está aprendida, mas o peso importante se afastou em 1, e a perda na tarefa antiga sobe de 0 para 5,05.
• Uma penalidade igual para os dois pesos os detém a meio caminho, em (1,67, 1,67). A tarefa antiga sofre menos, mas a soma é 3,33 em vez de 4.
• O EWC transfere quase todo o movimento para o peso pouco importante: (1,02, 2,80). A soma é 3,82, e a perda na tarefa antiga é de apenas 0,16.

A perda é um número que diz o quanto o modelo erra; quanto menor, melhor. No experimento abaixo, você pode alterar a força da penalidade λ e o modo de proteção. O resultado é calculado com exatidão para este exemplo de dois pesos; não é a simulação de uma rede real.

Como se sabe qual peso é importante

Em uma rede real, ninguém fornece a importância de antemão. Ela é estimada ao fim da tarefa antiga, enquanto os dados dela ainda estão disponíveis: verifica-se com que força uma pequena mudança em um dado peso altera as respostas do modelo aos exemplos antigos. O trabalho usa para isso a diagonal da matriz de informação de Fisher, isto é, um número de importância para cada peso. Depois os dados podem ser apagados; ficam os valores antigos dos pesos e as suas importâncias.

Durante o novo treinamento, minimiza-se a soma de dois termos (equação 3 do trabalho):

$$L(\theta) = L_B(\theta) + \sum_i \frac{\lambda}{2} F_i \,(\theta_i - \theta^*_{A,i})^2$$

$L_B$ é a perda na nova tarefa, $\theta_i$ é o valor atual do peso de número $i$, $\theta^*_{A,i}$ é o valor dele depois da tarefa antiga, $F_i$ é a sua importância, e $\lambda$ diz o quanto a tarefa antiga conta em relação à nova. No nosso exemplo, $F = (10;\ 0{,}1)$ e $\lambda = 1$.

Limites do método

A importância é uma aproximação calculada em um único ponto, separadamente para cada peso. Os próprios autores mostram que a estimativa deles é, por vezes, confiante demais quanto a quais pesos são irrelevantes, e chamam isso de principal fraqueza do método (§2.2 e §3). Nos experimentos deles com jogos de Atari, um agente com EWC aprendeu muitos jogos em sequência, mas não igualou redes separadas treinadas para cada jogo. Os resultados dizem respeito ao reconhecimento de dígitos e a jogos, não a grandes modelos de linguagem. Os nossos dois pesos e as mensagens dos clientes são uma simplificação própria.

• Catastrophic Forgetting [Polski] é uma piora acentuada das habilidades antigas depois de um novo treinamento; o EWC tenta limitá-la sem acesso aos dados antigos.
• Experience Replay resolve o mesmo problema de outro jeito: guarda parte dos exemplos antigos em vez das importâncias dos pesos.
• Continual Learning define o objetivo, isto é, aprender tarefas sucessivas preservando as anteriores; o EWC é um dos métodos.
• Fine-tuning [Polski] é a continuação do treinamento de um modelo pronto; o EWC muda o objetivo desse treinamento, acrescentando uma penalidade por mexer nos pesos importantes.

O texto e a ilustração foram preparados com a ajuda de IA. Os dois pesos, as suas importâncias e a demonstração são um exemplo didático próprio e simplificado; a ilustração é uma metáfora, não um esquema da estrutura do modelo.