Experience Replay

Um modelo aprendeu a encaminhar as perguntas dos clientes para os setores “entrega” e “devoluções”. Agora você continua o treinamento para que ele reconheça reclamações, por exemplo “O produto chegou danificado”. Se nos exercícios seguintes ele vir apenas reclamações, pode passar a tratar pior a já conhecida “Onde está a encomenda?”. O arquivo antigo completo não está disponível. Será que dá para voltar ao menos a algumas mensagens guardadas?

Experience Replay (ER) consiste em guardar parte dos exemplos anteriores e usá-los de novo no treinamento. Na variante simples, misturamos a um lote de dados novos exemplos tirados de uma memória chamada replay buffer. É um recipiente de dados para repetição, não um registro de todo o conhecimento do modelo. Esse treinamento conjunto é descrito por Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, algoritmo 1.

O que entra no próximo exercício

Antes de perder o arquivo, guardamos quatro mensagens com os setores corretos. Agora temos quatro reclamações novas. Sem repetições, o modelo treina com as quatro mensagens novas. Com repetições, ele pratica também com as quatro antigas: recebe de novo o sinal de que “Onde está a encomenda?” pertence à entrega. Neste pequeno exemplo usamos o buffer inteiro; buffers maiores costumam fornecer um lote sorteado.

Não basta, porém, contar as vagas na memória. Quatro perguntas guardadas sobre entrega não contêm nenhum exemplo de devolução. Trocando duas delas por “Como devolvo a compra?” e “Quero devolver uma camisa”, o número de repetições continua o mesmo, mas passa a abranger os dois setores anteriores. O experimento abaixo conta os exemplos no lote de dados; não prevê a acurácia do modelo.

As repetições só ajudam nos dados disponíveis

O modelo ganha a oportunidade de praticar respostas anteriores, mas não a garantia de preservar todas as habilidades. Uma amostra aleatória pequena pode deixar de fora por completo uma categoria rara; os pesquisadores observaram esse problema com buffers muito pequenos (§4.4 do mesmo trabalho). As nossas mensagens são um exemplo próprio, não o resultado daqueles experimentos. O efeito do treinamento precisa ser verificado em mensagens antigas e novas separadas, não usadas no treino. O buffer também ocupa memória e exige guardar os dados escolhidos.

Veja também: Reservoir Sampling — uma forma de decidir quais exemplos de um fluxo entram em um buffer de tamanho fixo, dando a cada um a mesma chance.

Nos jogos, em Reinforcement Learning [Polski] — o aprendizado de ações com base em recompensas —, guardam-se a situação, a ação, a recompensa e a situação seguinte. Sortear esses registros reduz a dependência de eventos que ocorrem imediatamente um após o outro (Mnih et al., Human-level control through deep reinforcement learning, Methods, “Training algorithm for deep Q-networks”). São dados diferentes de uma mensagem com o setor correto; os resultados do Atari não devem ser transpostos diretamente para os LLMs.

• Continual Learning define o objetivo de continuar aprendendo com a preservação das capacidades anteriores; o ER é uma das formas de alcançá-lo.
• Catastrophic Forgetting [Polski] descreve uma piora acentuada das habilidades antigas, que as repetições podem limitar.
• Fine-tuning [Polski] é a continuação do treinamento de um modelo; o replay muda a seleção dos dados usados nele. Simplesmente colar mensagens antigas em uma conversa não é uma atualização do modelo desse tipo.

O texto e a ilustração foram preparados com a ajuda de IA. As mensagens e a demonstração são um exemplo didático próprio e simplificado; a ilustração é uma metáfora, não um esquema da estrutura do modelo.