Experience Replay

Un modèle a appris à orienter les questions des clients vers les services « livraison » et « retours ». Vous poursuivez maintenant son entraînement pour qu’il reconnaisse les réclamations, par exemple « Le produit est arrivé endommagé ». S’il ne voit que des réclamations dans les exercices suivants, il risque de moins bien traiter le « Où est le colis ? » qu’il connaissait auparavant. L’ancienne archive complète n’est plus disponible. Peut-on revenir au moins à quelques messages conservés ?

L’Experience Replay (ER) consiste à conserver une partie des exemples antérieurs et à les réutiliser pour l’apprentissage. Dans sa variante simple, on mélange au lot de nouvelles données des exemples tirés d’une mémoire appelée replay buffer. C’est un réservoir de données à réviser, pas un enregistrement de tout le savoir du modèle. Cet apprentissage conjoint est décrit par Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, algorithme 1.

Ce qui entre dans l’exercice suivant

Avant de perdre l’archive, nous avons enregistré quatre messages avec leur bon service. Nous avons maintenant quatre nouvelles réclamations. Sans révisions, le modèle apprend sur quatre nouveaux messages. Avec révisions, il s’exerce aussi sur quatre anciens : il reçoit de nouveau le signal que « Où est le colis ? » relève de la livraison. Dans ce petit exemple, nous utilisons tout le tampon ; les tampons plus grands fournissent en général une portion tirée au sort.

Il ne suffit pourtant pas de compter les places en mémoire. Quatre questions enregistrées sur la livraison ne contiennent pas un seul exemple de retour. Si l’on remplace deux d’entre elles par « Comment renvoyer un achat ? » et « Je veux retourner une chemise », le nombre de révisions reste le même, mais elles couvrent les deux anciens services. L’expérience ci-dessous compte les exemples dans le lot de données ; elle ne prédit pas l’exactitude du modèle.

Les révisions n’aident que sur les données disponibles

Le modèle reçoit une occasion de s’exercer sur ses réponses antérieures, mais pas la garantie de conserver toutes ses compétences. Un petit échantillon aléatoire peut laisser complètement de côté une catégorie rare ; les chercheurs ont observé ce problème avec de très petits tampons (§4.4 du même article). Nos messages sont un exemple personnel, pas un résultat de ces expériences. L’effet de l’apprentissage doit être vérifié sur des messages anciens et nouveaux mis à part, non utilisés pour l’entraînement. Le tampon occupe aussi de la mémoire et oblige à conserver les données choisies.

Voir aussi : Reservoir Sampling — une façon de décider quels exemples du flux entrent dans un tampon de taille fixe, en donnant à chacun une chance égale.

Dans les jeux, en Reinforcement Learning [Polski] — l’apprentissage d’actions à partir de récompenses —, on conserve la situation, l’action, la récompense et la situation suivante. Tirer au sort ces enregistrements réduit la dépendance aux événements qui se suivent immédiatement (Mnih et al., Human-level control through deep reinforcement learning, Methods, « Training algorithm for deep Q-networks »). Ce ne sont pas les mêmes données qu’un message accompagné de son bon service ; les résultats obtenus sur Atari ne doivent pas être transposés tels quels aux LLM.

• Continual Learning définit l’objectif : poursuivre l’apprentissage en conservant les capacités antérieures ; l’ER est l’un des moyens d’y parvenir.
• Catastrophic Forgetting [Polski] décrit une forte dégradation des anciennes compétences, que les révisions peuvent limiter.
• Fine-tuning [Polski] est la poursuite de l’entraînement d’un modèle ; le replay modifie le choix de ses données. Coller d’anciens messages dans une conversation ne constitue pas une telle mise à jour du modèle.

Texte et illustration préparés avec l’aide de l’IA. Les messages et la démonstration sont un exemple pédagogique personnel simplifié ; l’illustration est une métaphore, pas un schéma de la structure d’un modèle.