A regra mais simples é uma linha reta: “cada grau a mais são algumas bolas a mais”. No exemplo desta nota, ela erra nos dias anotados tipicamente em 27,5 bolas, porque não vê que, no calor mais forte, as vendas caem. Pode-se então dar mais liberdade à regra e deixar a curva fazer voltas. A mais flexível das curvas testadas passa exatamente por todos os 10 pontos. O erro dela nos dias do caderno é 0.

Parece a regra perfeita. Só que os dias do caderno já passaram, e a regra precisa funcionar amanhã. Em 400 dias novos do mesmo quiosque, a curva “perfeita” erra tipicamente em 236,5 bolas. Uma curva moderadamente flexível, que se saía pior no caderno (10,9), erra nos dias novos em 16,8.

Overfitting é a situação em que um modelo tem um erro pequeno nos dados usados no treinamento e, em comparação com ele, um erro grande demais em dados novos do mesmo tipo (Goodfellow, Bengio e Courville, Deep Learning, §5.2). O modelo se ajustou a características do seu conjunto que não se repetem fora dele. O problema inverso se chama underfitting: a regra é simples demais para descrever bem até os dados que viu. É assim que se comporta a linha reta do nosso exemplo.

De onde vem essa diferença

Cada anotação do caderno é feita de duas coisas: uma regularidade (mais calor, portanto mais sorvete) e o acaso (justo naquele dia chegou uma excursão). A regra deve captar a primeira e deixar a segunda de fora. O modelo, porém, não sabe o que é o quê. Ele só vê pontos.

O quanto de acaso o modelo absorve depende da sua flexibilidade, chamada na literatura de capacity: a capacidade de se ajustar a muitas formas diferentes. A curva do exemplo é descrita por 2 a 10 números, escolhidos de acordo com os dados; a quantidade deles é o grau da curva mais um. Uma curva de grau 9 tem 10 desses números para 10 dias, então consegue acertar todos os pontos, com todo o acaso junto. Os autores do livro descrevem assim: um modelo muito flexível pode representar a relação correta, mas também uma infinidade de outras, que se ajustam igualmente bem aos dados de treinamento, e é pequena a chance de que escolha justamente aquela que vai funcionar adiante (§5.2).

O percurso típico é o seguinte: quando a flexibilidade cresce, o erro nos dados de treinamento diminui, e o erro em dados novos primeiro diminui e depois começa a crescer (§5.2, figura 5.3). Daí sai uma regra prática. Não se avalia um modelo nos dados com que ele treinou, e não se escolhe a flexibilidade pelo erro nesses dados, porque ele sempre apontará a maior. Uma parte dos dados é posta de lado: o validation set [Polski] serve para escolher os ajustes, e um test set separado, para a avaliação final (§5.3).

Confira você mesmo

Abaixo está o mesmo quiosque. Todos os números desta nota podem ser reproduzidos: depois de clicar em “Recomeçar”, veem-se 10 dias, e os experimentos 1–5 configuram os casos descritos.

Vale fazer duas coisas que um gráfico estático não mostra. Primeiro, ative “24 outros cadernos” e mude o grau: com grau baixo, as linhas cinza ficam próximas umas das outras; com grau alto, espalham-se para todos os lados, embora cada uma venha do mesmo quiosque. Segundo, arraste um ponto bem para cima. A curva de grau 2 se desloca só um pouco, e a curva de grau 9 se refaz em toda a extensão para acertá-lo.

O que ajuda

• Mais dados. Com 80 dias, a mesma curva de grau 9 erra tipicamente em 14,8 bolas no caderno e em 15,9 nos dias novos. A diferença quase desaparece, porque a curva já não consegue acertar todos os pontos (§5.2).
• Menos flexibilidade. Curva de grau 3 com 10 dias: 10,9 no caderno, 16,8 nos dias novos.
• Regularization, isto é, uma mudança na forma de treinar cujo objetivo é reduzir o erro em dados novos, e não nos de treinamento (§5.2.2). Um exemplo é a penalidade para coeficientes grandes, aparentada com o Weight decay [Polski]: a curva de grau 9 com penalidade λ = 0,01 erra em 5,8 no caderno e em 21,2 nos dias novos, em vez de 236,5.

Nenhum desses ajustes pode ser escolhido olhando apenas para o erro nos dados de treinamento.

Limitações

• É um exemplo próprio, com uma única grandeza de entrada e dados simulados. Aqui o acaso, sozinho, dá tipicamente 15 bolas de erro, e nenhuma regra fica abaixo disso nos dias novos.
• A forma “primeiro melhora, depois piora” é típica, não garantida. Os autores observam que, em redes profundas, é difícil até determinar a flexibilidade efetiva do modelo, porque ela depende também do algoritmo de treinamento (§5.2). O número de parâmetros de um LLM, portanto, não diz sozinho se o modelo sofre de overfitting.
• Um erro pequeno em dados novos vale para dados da mesma origem. Se o quiosque se mudar para a beira do mar, o caderno da cidade não promete nada.

Relações

• Weight decay [Polski] limita o tamanho dos pesos e é uma das formas de reduzir a diferença entre o erro nos dados de treinamento e nos novos.
• Grokking [Polski] descreve casos em que um modelo que parecia sofrer de overfitting passa, depois de um longo treinamento adicional, a funcionar bem em dados novos.
• Fine-tuning [Polski] em um conjunto pequeno exige o mesmo controle: dados separados, que o modelo não viu durante o treinamento.
• Catastrophic Forgetting [Polski] é outro problema: lá o modelo perde uma habilidade antiga depois de um novo treinamento, e aqui ele já de início generaliza mal para fora dos próprios dados de treinamento.

Para a variante de 50%, reunimos as tentativas bem-sucedidas e malsucedidas do agente em tarefas com diferentes tempos humanos. Ajustamos uma curva de chance de sucesso e, em seguida, lemos o tempo em que ela cruza os 50%. É uma previsão para a distribuição de tarefas com aquele tempo; não significa que cada uma delas tenha a mesma chance de ser concluída. METR: definição e metodologia.

Um exemplo didático: se a curva ajustada atinge 50% em duas horas, então duas horas são o horizonte. O agente pode concluir uma tarefa bem-sucedida muito mais depressa. O resultado, sozinho, também não diz com que taxa de sucesso ele fará uma tarefa de outra área.

A leitura exige uma relação que faça sentido entre o tempo humano e a dificuldade para a IA. Quando a curva é plana, uma pequena mudança nas chances pode deslocar muito o seu cruzamento com o limiar. O artigo sobre a conversão do horizonte da METR mostra esse problema em um exemplo que dá para calcular e discute um novo ajuste aos dados da METR. Nguyen e Fithian, §2–3.

Ao comparar horizontes, é preciso preservar a informação sobre o conjunto de tarefas, o ambiente do agente, o orçamento de tentativas e o limiar de sucesso adotado.

Suponhamos que dois agentes resolvam as mesmas três tarefas. O primeiro costuma dar conta de A e B; o segundo, também de C. A porcentagem de sucessos, sozinha, fornece um ranking. A IRT tenta estimar, além disso, quão difícil é C em relação às demais tarefas e que diferença de capacidade explica o padrão de respostas. É um exemplo didático; uma tabela tão pequena não basta para um ajuste confiável.

No modelo simples de Rasch, a chance de sucesso cresce quando a capacidade do agente é maior em relação à dificuldade da tarefa. As duas grandezas são ocultas: nós as inferimos dos resultados, em vez de identificar de imediato a dificuldade com o tamanho das instruções ou com o tempo humano. As diferentes variantes da IRT acrescentam outros parâmetros e pressupostos.

Na análise dos horizontes da METR, os autores ligam a dificuldade oculta ao tempo de trabalho humano por meio de uma curva aprendida. Acrescentam efeitos das famílias de tarefas e a variação dos resultados entre repetições. Isso permite verificar em que faixa o tempo realmente distingue as tarefas difíceis das fáceis para a IA. Nguyen e Fithian, §2.3 e §3.1.

Prever bem as respostas não prova que o parâmetro aprendido abrange todos os tipos de capacidade de um agente. Na interpretação, é preciso verificar os pressupostos do modelo e os resultados em tarefas não utilizadas no ajuste.

É possível treinar o modelo nas reclamações sem nenhuma restrição. Nesse caso, os pesos se deslocam para onde isso ajuda a nova tarefa, inclusive aqueles dos quais dependia o reconhecimento de entrega e devoluções. Também é possível punir toda mudança da mesma forma, mas então o modelo se agarra aos ajustes antigos com tanta força que aprende mal a tarefa nova. É preciso responder à pergunta: em quais pesos se pode mexer e em quais é melhor não tocar?

Elastic Weight Consolidation (EWC) acrescenta ao treinamento da nova tarefa uma penalidade pelo afastamento dos pesos em relação aos valores que tinham depois da tarefa antiga, e essa penalidade é tanto maior quanto mais importante o peso era para a tarefa antiga. Os autores comparam isso a uma mola presa a cada peso: rígida nos pesos importantes, frouxa nos demais (Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §2).

Dois pesos, uma nova tarefa

Tomemos apenas dois pesos. Depois do treinamento em entrega e devoluções, os dois valem 1. O primeiro é muito importante para os setores antigos (importância 10); o segundo, quase indiferente (importância 0,1). A nova tarefa exige apenas que a soma dos dois pesos seja 4. Muitos ajustes satisfazem isso: (2, 2), mas também (1, 3).

• Sem proteção, o treinamento desloca os dois pesos por igual, até (2, 2). A nova tarefa está aprendida, mas o peso importante se afastou em 1, e a perda na tarefa antiga sobe de 0 para 5,05.
• Uma penalidade igual para os dois pesos os detém a meio caminho, em (1,67, 1,67). A tarefa antiga sofre menos, mas a soma é 3,33 em vez de 4.
• O EWC transfere quase todo o movimento para o peso pouco importante: (1,02, 2,80). A soma é 3,82, e a perda na tarefa antiga é de apenas 0,16.

A perda é um número que diz o quanto o modelo erra; quanto menor, melhor. No experimento abaixo, você pode alterar a força da penalidade λ e o modo de proteção. O resultado é calculado com exatidão para este exemplo de dois pesos; não é a simulação de uma rede real.

Como se sabe qual peso é importante

Em uma rede real, ninguém fornece a importância de antemão. Ela é estimada ao fim da tarefa antiga, enquanto os dados dela ainda estão disponíveis: verifica-se com que força uma pequena mudança em um dado peso altera as respostas do modelo aos exemplos antigos. O trabalho usa para isso a diagonal da matriz de informação de Fisher, isto é, um número de importância para cada peso. Depois os dados podem ser apagados; ficam os valores antigos dos pesos e as suas importâncias.

Durante o novo treinamento, minimiza-se a soma de dois termos (equação 3 do trabalho):

$L_B$ é a perda na nova tarefa, $\theta_i$ é o valor atual do peso de número $i$, $\theta^*_{A,i}$ é o valor dele depois da tarefa antiga, $F_i$ é a sua importância, e $\lambda$ diz o quanto a tarefa antiga conta em relação à nova. No nosso exemplo, $F = (10;\ 0{,}1)$ e $\lambda = 1$.

Limites do método

A importância é uma aproximação calculada em um único ponto, separadamente para cada peso. Os próprios autores mostram que a estimativa deles é, por vezes, confiante demais quanto a quais pesos são irrelevantes, e chamam isso de principal fraqueza do método (§2.2 e §3). Nos experimentos deles com jogos de Atari, um agente com EWC aprendeu muitos jogos em sequência, mas não igualou redes separadas treinadas para cada jogo. Os resultados dizem respeito ao reconhecimento de dígitos e a jogos, não a grandes modelos de linguagem. Os nossos dois pesos e as mensagens dos clientes são uma simplificação própria.

• Catastrophic Forgetting [Polski] é uma piora acentuada das habilidades antigas depois de um novo treinamento; o EWC tenta limitá-la sem acesso aos dados antigos.
• Experience Replay resolve o mesmo problema de outro jeito: guarda parte dos exemplos antigos em vez das importâncias dos pesos.
• Continual Learning define o objetivo, isto é, aprender tarefas sucessivas preservando as anteriores; o EWC é um dos métodos.
• Fine-tuning [Polski] é a continuação do treinamento de um modelo pronto; o EWC muda o objetivo desse treinamento, acrescentando uma penalidade por mexer nos pesos importantes.

O texto e a ilustração foram preparados com a ajuda de IA. Os dois pesos, as suas importâncias e a demonstração são um exemplo didático próprio e simplificado; a ilustração é uma metáfora, não um esquema da estrutura do modelo.

Ficar com as quatro primeiras? Aí a memória só conhece o começo. Manter sempre as quatro últimas? Aí só conhece o fim. Um sorteio justo de “quatro do total” exigiria guardar tudo ou saber de antemão o número de mensagens. A pergunta é: como, com um número fixo de vagas e um fluxo de comprimento desconhecido, dar a mesma chance a todas as mensagens?

Reservoir Sampling é uma forma de manter uma amostra aleatória de tamanho fixo durante uma única passagem por dados cuja quantidade não conhecemos de antemão. Depois de cada nova mensagem, a memória, aqui chamada de reservatório, contém uma amostra aleatória justa de tudo o que chegou até então. A versão mais simples, o Algorithm R, é descrita por Vitter, Random Sampling with a Reservoir, §2, que a atribui a Alan Waterman.

A receita em dois passos

1. As quatro primeiras mensagens vão para a memória sem sorteio.
2. A mensagem de número $t$ (a quinta, a sexta e todas as seguintes) entra na memória com chance $4/t$. Se entrou, substitui uma das quatro guardadas, escolhida ao acaso.

A quinta mensagem entra, portanto, com chance 4/5; a centésima, com chance 4/100. As mensagens novas têm uma chance cada vez menor de entrar, mas as antigas já correram muitas vezes o risco de ser expulsas, e esses dois efeitos se compensam exatamente. Vamos conferir isso depois da quinta mensagem. Ela entra com chance 4/5. A primeira mensagem só sai quando a quinta entrou (4/5) e caiu justamente na vaga dela (1/4), ou seja, com chance 1/5. Ela fica com chance 4/5: a mesma da quinta. Depois de $t$ mensagens, cada uma delas está na memória com chance $4/t$.

Chance igual não é garantia

No experimento, o fluxo tem 20 mensagens. Dezoito tratam de entrega, e duas, a nona e a décima quinta, tratam de devoluções. Cada execução passa esse fluxo 2.000 vezes e conta com que frequência cada posição ficou na memória no final. Os sorteios são de verdade, então os resultados diferem em uma fração de ponto percentual a cada vez.

Com Reservoir Sampling, cada barra tem cerca de 20%, isto é, 4/20. Ao mesmo tempo, na maioria das execuções nenhuma das duas devoluções fica na memória. O valor exato é 3060/4845, ou seja, cerca de 63%: é essa a parcela dos grupos de quatro, entre todos os que se podem escolher das 20 mensagens, formados apenas pelas dezoito mensagens sobre entrega. O método é justo com cada mensagem, mas não cuida para que toda categoria tenha um representante.

Onde isso faz diferença

No treinamento com repetições, Reservoir Sampling é, às vezes, a forma de gravar no buffer: não é preciso conhecer o comprimento do fluxo nem as fronteiras entre as tarefas. Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, algoritmo 2 o usam exatamente assim. Nos experimentos deles com tarefas de imagem, ele funcionou bem, exceto com memórias muito pequenas, em que as classes anteriores desapareciam do buffer; nesses casos saíam-se melhor as estratégias que cuidam de uma representação igual das classes (§4.4). É um resultado para classificação de imagens, não para LLMs.

O algoritmo em si não tem a ver com aprendizado de máquina. O trabalho de Vitter, de 1985, descreve o sorteio de registros de uma fita magnética de comprimento desconhecido e propõe variantes mais rápidas, que, em vez de sortear a cada registro, calculam quantos registros pular. As mensagens dos clientes e o fluxo de 20 posições são um exemplo próprio.

• Experience Replay precisa de um buffer com exemplos antigos; Reservoir Sampling é uma das formas de decidir o que entra nele.
• Continual Learning pressupõe o aprendizado a partir de um fluxo de dados com memória limitada, isto é, uma situação em que não dá para guardar tudo.
• Catastrophic Forgetting [Polski] pode se agravar quando todos os exemplos de uma categoria antiga saem de uma memória pequena.

O texto e a ilustração foram preparados com a ajuda de IA. O fluxo de mensagens e a demonstração são um exemplo didático próprio e simplificado; a ilustração é uma metáfora, não um esquema do algoritmo.

Experience Replay (ER) consiste em guardar parte dos exemplos anteriores e usá-los de novo no treinamento. Na variante simples, misturamos a um lote de dados novos exemplos tirados de uma memória chamada replay buffer. É um recipiente de dados para repetição, não um registro de todo o conhecimento do modelo. Esse treinamento conjunto é descrito por Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, algoritmo 1.

O que entra no próximo exercício

Antes de perder o arquivo, guardamos quatro mensagens com os setores corretos. Agora temos quatro reclamações novas. Sem repetições, o modelo treina com as quatro mensagens novas. Com repetições, ele pratica também com as quatro antigas: recebe de novo o sinal de que “Onde está a encomenda?” pertence à entrega. Neste pequeno exemplo usamos o buffer inteiro; buffers maiores costumam fornecer um lote sorteado.

Não basta, porém, contar as vagas na memória. Quatro perguntas guardadas sobre entrega não contêm nenhum exemplo de devolução. Trocando duas delas por “Como devolvo a compra?” e “Quero devolver uma camisa”, o número de repetições continua o mesmo, mas passa a abranger os dois setores anteriores. O experimento abaixo conta os exemplos no lote de dados; não prevê a acurácia do modelo.

As repetições só ajudam nos dados disponíveis

O modelo ganha a oportunidade de praticar respostas anteriores, mas não a garantia de preservar todas as habilidades. Uma amostra aleatória pequena pode deixar de fora por completo uma categoria rara; os pesquisadores observaram esse problema com buffers muito pequenos (§4.4 do mesmo trabalho). As nossas mensagens são um exemplo próprio, não o resultado daqueles experimentos. O efeito do treinamento precisa ser verificado em mensagens antigas e novas separadas, não usadas no treino. O buffer também ocupa memória e exige guardar os dados escolhidos.

Veja também: Reservoir Sampling — uma forma de decidir quais exemplos de um fluxo entram em um buffer de tamanho fixo, dando a cada um a mesma chance.

Nos jogos, em Reinforcement Learning [Polski] — o aprendizado de ações com base em recompensas —, guardam-se a situação, a ação, a recompensa e a situação seguinte. Sortear esses registros reduz a dependência de eventos que ocorrem imediatamente um após o outro (Mnih et al., Human-level control through deep reinforcement learning, Methods, “Training algorithm for deep Q-networks”). São dados diferentes de uma mensagem com o setor correto; os resultados do Atari não devem ser transpostos diretamente para os LLMs.

• Continual Learning define o objetivo de continuar aprendendo com a preservação das capacidades anteriores; o ER é uma das formas de alcançá-lo.
• Catastrophic Forgetting [Polski] descreve uma piora acentuada das habilidades antigas, que as repetições podem limitar.
• Fine-tuning [Polski] é a continuação do treinamento de um modelo; o replay muda a seleção dos dados usados nele. Simplesmente colar mensagens antigas em uma conversa não é uma atualização do modelo desse tipo.

O texto e a ilustração foram preparados com a ajuda de IA. As mensagens e a demonstração são um exemplo didático próprio e simplificado; a ilustração é uma metáfora, não um esquema da estrutura do modelo.

Você precisa ensinar coisas novas ao modelo preservando as habilidades anteriores. Esse é o objetivo do Continual Learning: o aprendizado a partir de dados ou tarefas que chegam em sequência, levando em conta o que o modelo aprendeu antes. O nome designa um problema e uma família de abordagens; não garante que não haverá esquecimento. Essa necessidade é descrita por Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §1.

O que mudamos no treinamento e na verificação

Suponhamos que o arquivo completo dos exemplos usados no treinamento anterior já não esteja disponível. Antes de apagá-lo, guardamos uma pequena amostra: 20 mensagens com os setores corretos conhecidos. Um dos métodos possíveis consiste em misturar essa amostra aos novos exemplos de reclamações. Assim, o treinamento seguinte recebe também o sinal de que deve continuar tratando corretamente “Onde está a minha encomenda?”. Reutilizar exemplos antigos é uma das estratégias descritas por van de Ven e Tolias, Three scenarios for continual learning, §3.3.

Veja também: Experience Replay — guardar uma pequena amostra de exemplos antigos e misturá-la ao novo treinamento.

A equipe de avaliação mantém um teste separado com mensagens antigas, que não usamos no treinamento. Depois de cada atualização, verificamos as categorias antigas e as novas. Os números abaixo são um exemplo inventado, não o resultado de um estudo; cada teste contém 100 mensagens.

A última variante preserva melhor a habilidade anterior, embora reconheça as reclamações pior do que a segunda. A tabela mostra o que comparar; não promete esse resultado depois de acrescentar 20 exemplos.

As condições mudam a dificuldade

No nosso exemplo, o próprio modelo escolhe entre todos os setores que conhece. Uma dica como “esta é uma mensagem da nova categoria” facilitaria o teste. A disponibilidade dessas dicas e das fronteiras entre as tarefas é importante na comparação de métodos (van de Ven e Tolias, §2–2.3). Uma amostra pequena pode deixar de fora perguntas raras; uma boa média não prova que cada habilidade foi preservada.

• Catastrophic Forgetting [Polski] descreve uma piora acentuada das habilidades antigas; a demonstração daquela nota mostra como um novo treinamento altera ajustes compartilhados.
• Fine-tuning [Polski] é a continuação do treinamento de um modelo com exemplos selecionados. Depois de cada novo treinamento, verificamos também as capacidades anteriores.
• Knowledge Distillation [Polski] pode transmitir orientações de um modelo mais antigo para o que está sendo atualizado; é uma estratégia diferente de guardar as mensagens originais (§3.3 do trabalho de van de Ven e Tolias).

O texto e a ilustração foram preparados com a ajuda de IA; as mensagens, o tamanho da amostra e os resultados da tabela são um exemplo didático próprio. A ilustração mostra o objetivo de preservar as habilidades anteriores, não a estrutura do modelo.