La règle la plus simple est une droite : « chaque degré de plus, ce sont quelques boules de plus ». Dans l’exemple de cette note, elle se trompe typiquement de 27,5 boules sur les jours notés, car elle ne voit pas que les ventes baissent pendant les plus fortes chaleurs. On peut donc laisser plus de liberté à la règle et permettre à la courbe de tourner. La plus souple des courbes essayées passe exactement par les 10 points. Son erreur sur les jours du carnet vaut 0.

Elle a tout d’une règle parfaite. Sauf que les jours du carnet sont déjà passés, et que la règle doit servir demain. Sur 400 nouveaux jours du même stand, la courbe « parfaite » se trompe typiquement de 236,5 boules. Une courbe modérément souple, qui faisait moins bien sur le carnet (10,9), se trompe de 16,8 sur les nouveaux jours.

L’overfitting est la situation où un modèle a une petite erreur sur les données utilisées pour l’apprentissage et, en comparaison, une erreur trop grande sur de nouvelles données du même type (Goodfellow, Bengio et Courville, Deep Learning, §5.2). Le modèle s’est ajusté à des particularités de son jeu de données qui ne se répètent pas ailleurs. Le problème inverse s’appelle l’underfitting : la règle est trop simple pour bien décrire même les données qu’elle a vues. C’est ainsi que se comporte la droite de notre exemple.

D’où vient cet écart

Chaque ligne du carnet est faite de deux choses : une régularité (il fait plus chaud, donc plus de glaces) et du hasard (un car de touristes est justement passé). La règle doit saisir la première et laisser la seconde de côté. Mais le modèle ne sait pas distinguer l’une de l’autre. Il ne voit que des points.

La quantité de hasard que le modèle absorbe dépend de sa souplesse, appelée capacity dans la littérature : son aptitude à s’ajuster à de nombreuses formes différentes. Dans l’exemple, la courbe est décrite par 2 à 10 nombres que l’on ajuste aux données ; leur nombre est le degré de la courbe plus un. Une courbe de degré 9 dispose de 10 nombres pour 10 jours : elle peut donc toucher chaque point, avec tout le hasard qu’il contient. Les auteurs du manuel le décrivent ainsi : un modèle très souple peut représenter la bonne relation, mais aussi une foule d’autres qui collent tout aussi bien aux données d’apprentissage, et il y a peu de chances qu’il choisisse justement celle qui tiendra ensuite (§5.2).

Le déroulement typique est le suivant : quand la souplesse augmente, l’erreur sur les données d’apprentissage diminue, tandis que l’erreur sur les nouvelles données commence par diminuer, puis se met à augmenter (§5.2, figure 5.3). Il en découle une règle pratique. On n’évalue pas un modèle sur les données sur lesquelles il a appris, et on ne choisit pas la souplesse d’après l’erreur sur ces données, car celle-ci désignera toujours la plus grande. On met une partie des données de côté : le validation set [Polski] sert à choisir les réglages, et un test set distinct sert à l’évaluation finale (§5.3).

Essayez vous-même

Voici le même stand. Tous les chiffres de cette note peuvent être reproduits : un clic sur « Recommencer » affiche 10 jours, et les expériences 1 à 5 règlent les cas décrits.

Deux choses valent la peine d’être faites, qu’un graphique statique ne montre pas. D’abord, activez « 24 autres carnets » et faites varier le degré : quand il est bas, les lignes grises restent proches les unes des autres ; quand il est élevé, elles partent dans tous les sens, alors que chacune vient du même stand. Ensuite, faites glisser un point très haut. La courbe de degré 2 ne bougera qu’un peu, tandis que la courbe de degré 9 se reconstruira sur toute sa longueur pour l’atteindre.

Ce qui aide

• Plus de données. Avec 80 jours, la même courbe de degré 9 se trompe typiquement de 14,8 boules sur le carnet et de 15,9 sur les nouveaux jours. L’écart disparaît presque, car la courbe ne peut plus toucher chaque point (§5.2).
• Moins de souplesse. Courbe de degré 3 sur 10 jours : 10,9 sur le carnet, 16,8 sur les nouveaux jours.
• Regularization, c’est-à-dire une modification de la méthode d’apprentissage destinée à réduire l’erreur sur les nouvelles données, et non sur les données d’apprentissage (§5.2.2). Un exemple en est la pénalité pour les grands coefficients, apparentée au Weight decay [Polski] : la courbe de degré 9 avec une pénalité λ = 0,01 se trompe de 5,8 sur le carnet et de 21,2 sur les nouveaux jours, au lieu de 236,5.

Aucun de ces réglages ne peut être choisi en regardant uniquement l’erreur sur les données d’apprentissage.

Limites

• C’est un exemple personnel, avec une seule grandeur d’entrée et des données simulées. Le hasard seul donne ici typiquement 15 boules d’erreur, et aucune règle ne descendra plus bas sur les nouveaux jours.
• La forme « d’abord mieux, puis moins bien » est typique, pas garantie. Les auteurs soulignent que, dans les réseaux profonds, il est difficile ne serait-ce que d’établir la souplesse effective d’un modèle, car elle dépend aussi de l’algorithme d’apprentissage (§5.2). Le nombre de paramètres d’un LLM ne dit donc pas, à lui seul, si le modèle est surajusté.
• Une petite erreur sur de nouvelles données concerne des données de la même source. Si le stand déménage au bord de la mer, le carnet tenu en ville ne promet rien.

Notes liées

• Weight decay [Polski] limite la taille des poids et constitue l’un des moyens de réduire l’écart entre l’erreur sur les données d’apprentissage et l’erreur sur les nouvelles.
• Grokking [Polski] décrit des cas où un modèle qui semble surajusté se met, après un long entraînement supplémentaire, à bien fonctionner sur de nouvelles données.
• Fine-tuning [Polski] sur un petit jeu de données exige le même contrôle : des données distinctes, que le modèle n’a pas vues pendant l’apprentissage.
• Catastrophic Forgetting [Polski] est un autre problème : là, le modèle perd une ancienne compétence après un nouvel apprentissage ; ici, il se généralise mal dès le départ au-delà de ses propres données d’apprentissage.

Pour la variante à 50 %, on rassemble les tentatives réussies et ratées de l’agent sur des tâches aux temps humains variés. On ajuste une courbe des chances de succès, puis on lit le temps auquel elle coupe 50 %. C’est une prédiction pour la distribution des tâches d’une durée donnée ; elle ne signifie pas que chacune d’elles a la même chance d’être menée à bien. METR : définition et méthodologie.

Exemple pédagogique : si la courbe ajustée atteint 50 % à deux heures, l’horizon est de deux heures. L’agent peut mener à bien une tâche réussie beaucoup plus vite. Le résultat ne dit pas non plus, à lui seul, avec quel taux de réussite il accomplira une tâche d’un autre domaine.

Cette lecture suppose une relation sensée entre le temps humain et la difficulté pour l’IA. Lorsque la courbe est plate, une petite variation des chances peut déplacer très loin son intersection avec le seuil. L’article sur la conversion de l’horizon METR illustre ce problème par un exemple chiffré et présente un nouvel ajustement aux données de METR. Nguyen et Fithian, §2–3.

Lorsqu’on compare des horizons, il faut conserver l’information sur le jeu de tâches, l’environnement de l’agent, le budget de tentatives et le seuil de réussite retenu.

Supposons que deux agents résolvent les trois mêmes tâches. Le premier vient généralement à bout de A et de B, le second aussi de C. Le seul pourcentage de succès donne un classement. L’IRT cherche en plus à estimer à quel point C est difficile par rapport aux autres tâches, et quel écart de capacités explique le schéma des réponses. C’est un exemple pédagogique ; un tableau aussi petit ne suffit pas pour un ajustement fiable.

Dans le modèle simple de Rasch, la chance de succès augmente lorsque les capacités de l’agent sont plus grandes par rapport à la difficulté de la tâche. Les deux grandeurs sont cachées : on les infère à partir des résultats, au lieu d’assimiler d’emblée la difficulté à la longueur de la consigne ou au temps humain. Les différentes variantes de l’IRT ajoutent d’autres paramètres et d’autres hypothèses.

Dans l’analyse des horizons METR, les auteurs relient la difficulté cachée au temps de travail humain au moyen d’une courbe apprise. Ils ajoutent des effets de familles de tâches et la variabilité des résultats entre répétitions. Cela permet de vérifier dans quelle plage le temps distingue réellement les tâches difficiles des tâches faciles pour l’IA. Nguyen et Fithian, §2.3 et §3.1.

Une bonne prédiction des réponses ne prouve pas que le paramètre appris couvre tous les types de capacités d’un agent. Pour l’interprétation, il faut vérifier les hypothèses du modèle et les résultats sur des tâches non utilisées lors de l’ajustement.

On peut apprendre les réclamations au modèle sans aucune contrainte. Les poids se déplacent alors là où cela sert la nouvelle tâche, y compris ceux dont dépendait la reconnaissance de la livraison et des retours. On peut aussi pénaliser chaque changement de la même façon, mais le modèle s’accroche alors si fort aux anciens réglages qu’il apprend mal la nouveauté. Il faut une réponse à la question : quels poids peut-on toucher, et lesquels vaut-il mieux laisser en place ?

L’Elastic Weight Consolidation (EWC) ajoute à l’apprentissage de la nouvelle tâche une pénalité lorsque les poids s’éloignent de leur valeur après l’ancienne tâche, pénalité d’autant plus forte que le poids était important pour l’ancienne tâche. Les auteurs comparent cela à un ressort fixé à chaque poids : raide pour les poids importants, lâche pour les autres (Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §2).

Deux poids, une nouvelle tâche

Prenons seulement deux poids. Après l’apprentissage de la livraison et des retours, tous deux valent 1. Le premier est très important pour les anciens services (importance 10), le second presque indifférent (importance 0,1). La nouvelle tâche exige seulement que la somme des deux poids soit égale à 4. De nombreux réglages y satisfont : (2 ; 2), mais aussi (1 ; 3).

• Sans protection, l’apprentissage déplace les deux poids d’autant, jusqu’à (2 ; 2). La nouvelle tâche est maîtrisée, mais le poids important s’est éloigné de 1 et la perte sur l’ancienne tâche passe de 0 à 5,05.
• Une pénalité uniforme pour les deux poids les arrête à mi-chemin, à (1,67 ; 1,67). L’ancienne tâche souffre moins, mais la somme vaut 3,33 au lieu de 4.
• L’EWC reporte presque tout le déplacement sur le poids peu important : (1,02 ; 2,80). La somme vaut 3,82, et la perte sur l’ancienne tâche n’est que de 0,16.

La perte est un nombre qui indique à quel point le modèle se trompe ; plus elle est petite, mieux c’est. Dans l’expérience ci-dessous, vous pouvez modifier la force de la pénalité λ et le mode de protection. Le résultat est calculé exactement pour cet exemple à deux poids ; ce n’est pas la simulation d’un vrai réseau.

Comment sait-on quel poids est important

Dans un vrai réseau, personne ne fournit l’importance d’avance. On l’estime une fois l’ancienne tâche terminée, tant que ses données sont encore disponibles : on vérifie à quel point une légère modification d’un poids donné change les réponses du modèle sur les anciens exemples. L’article utilise pour cela la diagonale de la matrice d’information de Fisher, c’est-à-dire un seul nombre d’importance par poids. Les données peuvent ensuite être supprimées ; il reste les anciennes valeurs des poids et leurs importances.

Pendant le nouvel apprentissage, on minimise la somme de deux termes (équation 3 de l’article) :

$L_B$ est la perte sur la nouvelle tâche, $\theta_i$ la valeur courante du poids numéro $i$, $\theta^*_{A,i}$ sa valeur après l’ancienne tâche, $F_i$ son importance, et $\lambda$ indique combien l’ancienne tâche compte face à la nouvelle. Dans notre exemple, $F = (10;\ 0{,}1)$ et $\lambda = 1$.

Les limites de la méthode

L’importance est une approximation calculée en un seul point, séparément pour chaque poids. Les auteurs montrent eux-mêmes que leur estimation est parfois trop sûre d’elle quant aux poids sans importance, et y voient la principale faiblesse de la méthode (§2.2 et §3). Dans leurs expériences sur les jeux Atari, un agent doté de l’EWC a appris de nombreux jeux l’un après l’autre, mais n’a pas égalé des réseaux distincts entraînés pour chaque jeu. Les résultats portent sur la reconnaissance de chiffres et sur des jeux, pas sur les grands modèles de langage. Nos deux poids et nos messages de clients sont une simplification personnelle.

• Catastrophic Forgetting [Polski] est une forte dégradation des anciennes compétences après un nouvel apprentissage ; l’EWC tente de la limiter sans accès aux anciennes données.
• Experience Replay résout le même problème autrement : il conserve une partie des anciens exemples au lieu des importances des poids.
• Continual Learning définit l’objectif, c’est-à-dire l’apprentissage de tâches successives en conservant les précédentes ; l’EWC est l’une des méthodes.
• Fine-tuning [Polski] est la poursuite de l’entraînement d’un modèle existant ; l’EWC en modifie l’objectif en ajoutant une pénalité lorsqu’on touche aux poids importants.

Texte et illustration préparés avec l’aide de l’IA. Les deux poids, leurs importances et la démonstration sont un exemple pédagogique personnel simplifié ; l’illustration est une métaphore, pas un schéma de la structure d’un modèle.

Garder les quatre premiers ? La mémoire ne connaît alors que le début. Garder toujours les quatre derniers ? Elle ne connaît alors que la fin. Un tirage équitable de « quatre parmi l’ensemble » obligerait à tout stocker ou à connaître d’avance le nombre de messages. La question est donc : comment, avec un nombre fixe de places et un flux de longueur inconnue, donner la même chance à chaque message ?

Le Reservoir Sampling est une façon de maintenir un échantillon aléatoire de taille fixe en un seul passage sur des données dont on ne connaît pas le nombre à l’avance. Après chaque nouveau message, la mémoire, appelée ici réservoir, contient un échantillon aléatoire équitable de tout ce qui est arrivé jusque-là. La version la plus simple, Algorithm R, est décrite par Vitter, Random Sampling with a Reservoir, §2, qui l’attribue à Alan Waterman.

La recette en deux étapes

1. Les quatre premiers messages entrent en mémoire sans tirage au sort.
2. Le message numéro $t$ (le cinquième, le sixième et chacun des suivants) entre en mémoire avec une chance de $4/t$. S’il y entre, il remplace l’un des quatre messages enregistrés, choisi au hasard.

Le cinquième message entre donc avec une chance de 4/5, le centième avec une chance de 4/100. Les nouveaux messages ont de moins en moins de chances d’entrer, mais les anciens ont déjà été exposés maintes fois au risque d’être éjectés, et ces deux effets se compensent exactement. Vérifions-le après le cinquième message. Il entre avec une chance de 4/5. Le premier message ne sort que si le cinquième est entré (4/5) et est tombé justement à sa place (1/4), soit avec une chance de 1/5. Il reste avec une chance de 4/5 : la même que celle du cinquième. Après $t$ messages, chacun d’eux se trouve en mémoire avec une chance de $4/t$.

Une chance égale n’est pas une garantie

Dans l’expérience, le flux compte 20 messages. Dix-huit concernent la livraison, et deux, le neuvième et le quinzième, concernent les retours. Chaque lancement fait passer un tel flux 2 000 fois et compte à quelle fréquence chaque position est restée en mémoire à la fin. Les tirages sont réels : les résultats diffèrent donc à chaque fois d’une fraction de pour cent.

Avec le Reservoir Sampling, chaque barre atteint environ 20 %, soit 4/20. Dans le même temps, dans la plupart des passages, aucun des deux retours ne reste en mémoire. La valeur exacte est 3060/4845, soit environ 63 % : c’est la part, parmi tous les groupes de quatre choisis dans 20 messages, de ceux qui se composent uniquement des dix-huit messages sur la livraison. La méthode est équitable envers chaque message pris isolément, mais elle ne veille pas à ce que chaque catégorie ait un représentant.

Là où cela compte

Dans l’apprentissage avec révisions, le Reservoir Sampling sert parfois de méthode d’écriture dans le tampon : il n’est pas nécessaire de connaître la longueur du flux ni les frontières entre les tâches. Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, algorithme 2 l’emploient précisément ainsi. Dans leurs expériences sur des tâches d’images, il donnait de bons résultats, sauf avec de très petites mémoires, où des classes antérieures disparaissaient du tampon ; les stratégies veillant à une représentation égale des classes s’en sortaient alors mieux (§4.4). C’est un résultat pour la classification d’images, pas pour les LLM.

L’algorithme lui-même ne relève pas de l’apprentissage automatique. L’article de Vitter, daté de 1985, décrit le tirage d’enregistrements sur une bande magnétique de longueur inconnue et propose des variantes plus rapides qui, au lieu de tirer au sort à chaque enregistrement, calculent combien d’enregistrements sauter. Les messages de clients et le flux de 20 positions sont un exemple personnel.

• Experience Replay a besoin d’un tampon d’anciens exemples ; le Reservoir Sampling est l’une des façons de décider ce qui y entre.
• Continual Learning suppose un apprentissage à partir d’un flux de données avec une mémoire limitée, c’est-à-dire une situation où l’on ne peut pas tout garder.
• Catastrophic Forgetting [Polski] peut s’aggraver lorsque tous les exemples d’une ancienne catégorie sortent d’une petite mémoire.

Texte et illustration préparés avec l’aide de l’IA. Le flux de messages et la démonstration sont un exemple pédagogique personnel simplifié ; l’illustration est une métaphore, pas un schéma de l’algorithme.

L’Experience Replay (ER) consiste à conserver une partie des exemples antérieurs et à les réutiliser pour l’apprentissage. Dans sa variante simple, on mélange au lot de nouvelles données des exemples tirés d’une mémoire appelée replay buffer. C’est un réservoir de données à réviser, pas un enregistrement de tout le savoir du modèle. Cet apprentissage conjoint est décrit par Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, algorithme 1.

Ce qui entre dans l’exercice suivant

Avant de perdre l’archive, nous avons enregistré quatre messages avec leur bon service. Nous avons maintenant quatre nouvelles réclamations. Sans révisions, le modèle apprend sur quatre nouveaux messages. Avec révisions, il s’exerce aussi sur quatre anciens : il reçoit de nouveau le signal que « Où est le colis ? » relève de la livraison. Dans ce petit exemple, nous utilisons tout le tampon ; les tampons plus grands fournissent en général une portion tirée au sort.

Il ne suffit pourtant pas de compter les places en mémoire. Quatre questions enregistrées sur la livraison ne contiennent pas un seul exemple de retour. Si l’on remplace deux d’entre elles par « Comment renvoyer un achat ? » et « Je veux retourner une chemise », le nombre de révisions reste le même, mais elles couvrent les deux anciens services. L’expérience ci-dessous compte les exemples dans le lot de données ; elle ne prédit pas l’exactitude du modèle.

Les révisions n’aident que sur les données disponibles

Le modèle reçoit une occasion de s’exercer sur ses réponses antérieures, mais pas la garantie de conserver toutes ses compétences. Un petit échantillon aléatoire peut laisser complètement de côté une catégorie rare ; les chercheurs ont observé ce problème avec de très petits tampons (§4.4 du même article). Nos messages sont un exemple personnel, pas un résultat de ces expériences. L’effet de l’apprentissage doit être vérifié sur des messages anciens et nouveaux mis à part, non utilisés pour l’entraînement. Le tampon occupe aussi de la mémoire et oblige à conserver les données choisies.

Voir aussi : Reservoir Sampling — une façon de décider quels exemples du flux entrent dans un tampon de taille fixe, en donnant à chacun une chance égale.

Dans les jeux, en Reinforcement Learning [Polski] — l’apprentissage d’actions à partir de récompenses —, on conserve la situation, l’action, la récompense et la situation suivante. Tirer au sort ces enregistrements réduit la dépendance aux événements qui se suivent immédiatement (Mnih et al., Human-level control through deep reinforcement learning, Methods, « Training algorithm for deep Q-networks »). Ce ne sont pas les mêmes données qu’un message accompagné de son bon service ; les résultats obtenus sur Atari ne doivent pas être transposés tels quels aux LLM.

• Continual Learning définit l’objectif : poursuivre l’apprentissage en conservant les capacités antérieures ; l’ER est l’un des moyens d’y parvenir.
• Catastrophic Forgetting [Polski] décrit une forte dégradation des anciennes compétences, que les révisions peuvent limiter.
• Fine-tuning [Polski] est la poursuite de l’entraînement d’un modèle ; le replay modifie le choix de ses données. Coller d’anciens messages dans une conversation ne constitue pas une telle mise à jour du modèle.

Texte et illustration préparés avec l’aide de l’IA. Les messages et la démonstration sont un exemple pédagogique personnel simplifié ; l’illustration est une métaphore, pas un schéma de la structure d’un modèle.

Il vous faut apprendre de nouvelles choses au modèle tout en conservant ses compétences antérieures. C’est l’objectif du Continual Learning : un apprentissage sur des données ou des tâches qui arrivent les unes après les autres, en tenant compte de ce que le modèle a appris auparavant. Le nom désigne un problème et une famille d’approches ; il ne garantit pas l’absence d’oubli. Ce besoin est décrit par Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §1.

Ce que l’on change dans l’apprentissage et dans la vérification

Supposons que l’archive complète des exemples utilisés pour l’apprentissage précédent ne soit plus disponible. Avant sa suppression, nous en avons conservé un petit échantillon : 20 messages dont le bon service est connu. L’une des méthodes possibles consiste à mélanger cet échantillon aux nouveaux exemples de réclamations. La suite de l’apprentissage reçoit ainsi également le signal qu’il faut continuer à traiter correctement « Où est mon colis ? ». La réutilisation d’anciens exemples est l’une des stratégies décrites par van de Ven et Tolias, Three scenarios for continual learning, §3.3.

Voir aussi : Experience Replay — conserver un petit échantillon d’anciens exemples et le mélanger au nouvel apprentissage.

L’équipe d’évaluation garde à part un test d’anciens messages, que nous n’utilisons pas pour l’apprentissage. Après chaque mise à jour, nous vérifions les anciennes catégories et les nouvelles. Les chiffres ci-dessous sont un exemple inventé, pas le résultat d’une étude ; chaque test contient 100 messages.

La dernière variante conserve mieux la compétence antérieure, même si elle reconnaît moins bien les réclamations que la deuxième. Le tableau montre ce qu’il faut comparer ; il ne promet pas un tel résultat après l’ajout de 20 exemples.

Les conditions changent la difficulté

Dans notre exemple, le modèle choisit lui-même parmi tous les services qu’il connaît. Un indice du type « ce message relève de la nouvelle catégorie » faciliterait le test. La disponibilité de tels indices et des frontières entre les tâches compte lorsqu’on compare des méthodes (van de Ven et Tolias, §2–2.3). Un petit échantillon peut laisser de côté les questions rares ; une bonne moyenne ne prouve pas que chaque compétence a été conservée.

• Catastrophic Forgetting [Polski] décrit une forte dégradation des anciennes compétences ; sa démonstration montre comment un nouvel apprentissage modifie des réglages partagés.
• Fine-tuning [Polski] est la poursuite de l’entraînement d’un modèle sur des exemples choisis. Après chaque nouvel entraînement, nous vérifions aussi les capacités antérieures.
• Knowledge Distillation [Polski] peut transmettre des indications d’un modèle plus ancien au modèle mis à jour ; c’est une autre stratégie que la conservation des messages d’origine (§3.3 de l’article de van de Ven et Tolias).

Texte et illustration préparés avec l’aide de l’IA ; les messages, la taille de l’échantillon et les résultats du tableau sont un exemple pédagogique personnel. L’illustration montre l’objectif de conservation des compétences antérieures, pas la structure d’un modèle.