La regola più semplice è una retta: «ogni grado in più vuol dire qualche pallina in più». Nell'esempio di questa nota, sui giorni annotati sbaglia tipicamente di 27,5 palline, perché non vede che nel caldo più intenso le vendite calano. Si può allora dare alla regola più libertà e permettere alla curva di piegarsi. La più flessibile delle curve provate passa esattamente per tutti e 10 i punti. Il suo errore sui giorni del quaderno è 0.

Sembra la regola perfetta. Solo che i giorni del quaderno sono già passati, e la regola deve funzionare domani. Su 400 nuovi giorni dello stesso chiosco la curva «perfetta» sbaglia tipicamente di 236,5 palline. Una curva moderatamente flessibile, che sul quaderno andava peggio (10,9), sui nuovi giorni sbaglia di 16,8.

L'overfitting è la situazione in cui un modello ha un errore piccolo sui dati usati per l'addestramento e, al confronto, un errore troppo grande su dati nuovi dello stesso tipo (Goodfellow, Bengio e Courville, Deep Learning, §5.2). Il modello si è adattato a caratteristiche del proprio insieme di dati che al di fuori di esso non si ripetono. Il problema opposto si chiama underfitting: la regola è troppo semplice per descrivere bene perfino i dati che ha visto. Così si comporta la retta del nostro esempio.

Da dove nasce questa differenza

Ogni annotazione del quaderno è fatta di due cose: una regolarità (fa più caldo, quindi più gelati) e il caso (proprio quel giorno è arrivata una gita). La regola deve cogliere la prima e tralasciare il secondo. Il modello però non sa che cosa sia l'una e che cosa l'altro. Vede soltanto dei punti.

Quanto caso il modello assorbirà dipende dalla sua flessibilità, che in letteratura si chiama capacity: la capacità di adattarsi a molte forme diverse. La curva dell'esempio è descritta da 2 a 10 numeri, che si scelgono in base ai dati; il loro numero è il grado della curva più uno. Una curva di grado 9 ha 10 di questi numeri per 10 giorni, quindi riesce a centrare ogni punto, con tutto il caso che contiene. Gli autori del manuale lo descrivono così: un modello molto flessibile può rappresentare la relazione giusta, ma anche una quantità di altre che si adattano altrettanto bene ai dati di addestramento, ed è poco probabile che scelga proprio quella che reggerà in seguito (§5.2).

L'andamento tipico è questo: al crescere della flessibilità l'errore sui dati di addestramento diminuisce, mentre l'errore sui dati nuovi prima diminuisce e poi comincia a crescere (§5.2, figura 5.3). Ne segue una regola pratica. Un modello non si valuta sui dati su cui è stato addestrato, e la flessibilità non si sceglie in base all'errore su quei dati, perché questo indicherà sempre la più alta. Una parte dei dati si mette da parte: il validation set [Polski] serve a scegliere le impostazioni e un test set separato alla valutazione finale (§5.3).

Prova tu stesso

Qui sotto c'è lo stesso chiosco. Tutti i numeri di questa nota si possono riprodurre: dopo aver cliccato «Ricomincia» si vedono 10 giorni, e gli esperimenti 1–5 impostano i casi descritti.

Vale la pena fare due cose che un grafico statico non mostra. Primo, attiva «Altri 24 quaderni» e varia il grado: con un grado basso le linee grigie restano vicine tra loro, con uno alto si disperdono in tutte le direzioni, anche se ognuna proviene dallo stesso chiosco. Secondo, trascina un punto molto in alto. La curva di grado 2 si sposterà solo di poco, mentre la curva di grado 9 si ricostruirà per tutta la sua lunghezza pur di centrarlo.

Che cosa aiuta

• Più dati. Con 80 giorni la stessa curva di grado 9 sbaglia tipicamente di 14,8 palline sul quaderno e di 15,9 sui nuovi giorni. La differenza quasi scompare, perché la curva non può più centrare ogni punto (§5.2).
• Meno flessibilità. Una curva di grado 3 su 10 giorni: 10,9 sul quaderno, 16,8 sui nuovi giorni.
• Regularization, cioè una modifica del modo di addestrare che mira a ridurre l'errore sui dati nuovi e non su quelli di addestramento (§5.2.2). Un esempio è la penalità per i coefficienti grandi, imparentata con il Weight decay [Polski]: la curva di grado 9 con penalità λ = 0,01 sbaglia di 5,8 sul quaderno e di 21,2 sui nuovi giorni, invece che di 236,5.

Nessuna di queste impostazioni si può scegliere guardando soltanto l'errore sui dati di addestramento.

Limiti

• È un esempio mio, con una sola grandezza in ingresso e dati simulati. Qui il solo caso produce tipicamente 15 palline di errore, e sui nuovi giorni nessuna regola scenderà più in basso.
• La forma «prima meglio, poi peggio» è tipica, non garantita. Gli autori osservano che nelle reti profonde è difficile perfino stabilire la flessibilità effettiva di un modello, perché dipende anche dall'algoritmo di addestramento (§5.2). Il numero di parametri di un LLM non dice quindi, da solo, se il modello è in overfitting.
• Un errore piccolo sui dati nuovi riguarda dati della stessa provenienza. Se il chiosco si trasferisce al mare, il quaderno della città non promette nulla.

Collegamenti

• Weight decay [Polski] limita la grandezza dei pesi ed è uno dei modi per ridurre la differenza tra l'errore sui dati di addestramento e quello sui dati nuovi.
• Grokking [Polski] descrive i casi in cui un modello che sembra in overfitting, dopo un lungo addestramento ulteriore, comincia a funzionare bene sui dati nuovi.
• Fine-tuning [Polski] su un insieme piccolo richiede lo stesso controllo: dati separati, che il modello non ha visto durante l'addestramento.
• Catastrophic Forgetting [Polski] è un problema diverso: lì il modello perde una vecchia capacità dopo un nuovo addestramento, qui fin dall'inizio si trasferisce male al di fuori dei propri dati di addestramento.

Per la variante al 50% raccogliamo i tentativi riusciti e falliti dell'agente su compiti con tempi umani diversi. Adattiamo una curva della probabilità di successo e poi leggiamo il tempo in cui essa interseca il 50%. È una previsione per la distribuzione dei compiti di quella durata; non significa che ciascuno di essi abbia la stessa probabilità di essere portato a termine. METR: definizione e metodologia.

Un esempio didattico: se la curva adattata raggiunge il 50% a due ore, l'orizzonte è di due ore. L'agente può portare a termine con successo un compito molto più in fretta. Il risultato, da solo, non dice nemmeno con quale tasso di successo svolgerà un compito di un altro ambito.

La lettura richiede una relazione sensata tra il tempo umano e la difficoltà per l'AI. Quando la curva è piatta, una piccola variazione delle probabilità può spostare di molto la sua intersezione con la soglia. L'articolo sulla conversione dell'orizzonte di METR mostra questo problema con un esempio numerico e discute un nuovo adattamento ai dati di METR. Nguyen e Fithian, §2–3.

Quando si confrontano gli orizzonti bisogna conservare le informazioni sull'insieme di compiti, sull'ambiente dell'agente, sul budget di tentativi e sulla soglia di successo adottata.

Supponiamo che due agenti risolvano gli stessi tre compiti. Il primo di solito se la cava con A e B, il secondo anche con C. La sola percentuale di successi fornisce una classifica. La IRT cerca in più di stimare quanto sia difficile C rispetto agli altri compiti e quale differenza di capacità spieghi lo schema delle risposte. È un esempio didattico; una tabella così piccola non basta per un adattamento affidabile.

Nel semplice modello di Rasch la probabilità di successo cresce quando le capacità dell'agente sono maggiori rispetto alla difficoltà del compito. Entrambe le grandezze sono latenti: le inferiamo dai risultati, invece di identificare subito la difficoltà con la lunghezza delle istruzioni o con il tempo umano. Le diverse varianti della IRT aggiungono ulteriori parametri e ipotesi.

Nell'analisi degli orizzonti di METR gli autori collegano la difficoltà latente al tempo di lavoro umano per mezzo di una curva appresa. Aggiungono gli effetti delle famiglie di compiti e la variabilità dei risultati delle ripetizioni. Questo permette di verificare in quale intervallo il tempo distingua davvero i compiti difficili da quelli facili per l'AI. Nguyen e Fithian, §2.3 e §3.1.

Una buona previsione delle risposte non dimostra che il parametro appreso copra tutti i tipi di capacità dell'agente. Nell'interpretazione bisogna verificare le ipotesi del modello e i risultati sui compiti non utilizzati durante l'adattamento.

Si può addestrare il modello sui reclami senza alcun vincolo. In tal caso i pesi si spostano dove conviene al nuovo compito, compresi quelli da cui dipendeva il riconoscimento di consegna e resi. Si può anche penalizzare ogni variazione allo stesso modo, ma allora il modello resta così aggrappato alle vecchie impostazioni da imparare male il nuovo. Serve una risposta alla domanda: quali pesi si possono toccare e quali è meglio di no?

L'Elastic Weight Consolidation (EWC) aggiunge all'apprendimento del nuovo compito una penalità per l'allontanamento dei pesi dai valori che avevano dopo il vecchio compito, e la penalità è tanto maggiore quanto più quel peso era importante per il vecchio compito. Gli autori lo paragonano a una molla agganciata a ogni peso: rigida per i pesi importanti, lasca per gli altri (Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §2).

Due pesi, un nuovo compito

Prendiamo solo due pesi. Dopo l'addestramento su consegna e resi valgono entrambi 1. Il primo è molto importante per i vecchi reparti (importanza 10), il secondo quasi indifferente (importanza 0,1). Il nuovo compito richiede soltanto che la somma dei due pesi sia 4. Lo soddisfano molte configurazioni: (2, 2), ma anche (1, 3).

• Senza protezione l'addestramento sposta i due pesi in ugual misura, fino a (2, 2). Il nuovo compito è stato appreso, ma il peso importante si è allontanato di 1 e la perdita sul vecchio compito sale da 0 a 5,05.
• Una penalità uniforme per entrambi i pesi li ferma a metà strada, a (1,67; 1,67). Il vecchio compito soffre meno, ma la somma è 3,33 invece di 4.
• EWC trasferisce quasi tutto lo spostamento sul peso poco importante: (1,02; 2,80). La somma è 3,82 e la perdita sul vecchio compito è appena 0,16.

La perdita è un numero che dice quanto il modello sbaglia; più è piccola, meglio è. Nell'esperimento qui sotto puoi variare la forza della penalità λ e il tipo di protezione. Il risultato è calcolato in modo esatto per questo esempio a due pesi; non è la simulazione di una rete vera.

Come si sa quale peso è importante

In una rete vera nessuno fornisce le importanze in partenza. Si stimano al termine del vecchio compito, finché i suoi dati sono ancora disponibili: si verifica quanto una piccola variazione di un dato peso cambia le risposte del modello sui vecchi esempi. Il lavoro usa a questo scopo la diagonale della matrice di informazione di Fisher, cioè un solo numero di importanza per ogni peso. Poi i dati si possono eliminare; restano i vecchi valori dei pesi e le loro importanze.

Durante il nuovo addestramento si minimizza la somma di due termini (equazione 3 del lavoro):

$L_B$ è la perdita sul nuovo compito, $\theta_i$ è il valore corrente del peso numero $i$, $\theta^*_{A,i}$ il suo valore dopo il vecchio compito, $F_i$ la sua importanza, e $\lambda$ dice quanto il vecchio compito conta rispetto al nuovo. Nel nostro esempio $F = (10;\ 0{,}1)$ e $\lambda = 1$.

Limiti del metodo

L'importanza è un'approssimazione calcolata in un solo punto, separatamente per ogni peso. Gli stessi autori mostrano che la loro stima risulta a volte troppo sicura su quali pesi siano irrilevanti, e la definiscono la principale debolezza del metodo (§2.2 e §3). Nei loro esperimenti con i giochi Atari un agente con EWC imparava molti giochi uno dopo l'altro, ma non raggiungeva le reti separate addestrate per ciascun gioco. I risultati riguardano il riconoscimento di cifre e i giochi, non i grandi modelli linguistici. I nostri due pesi e i messaggi dei clienti sono una semplificazione mia.

• Catastrophic Forgetting [Polski] è un forte peggioramento delle vecchie capacità dopo un nuovo addestramento; EWC cerca di limitarlo senza accedere ai vecchi dati.
• Experience Replay risolve lo stesso problema in un altro modo: conserva una parte dei vecchi esempi invece delle importanze dei pesi.
• Continual Learning definisce l'obiettivo, cioè l'apprendimento di compiti successivi conservando quelli precedenti; EWC è uno dei metodi.
• Fine-tuning [Polski] è l'ulteriore addestramento di un modello già pronto; EWC ne modifica l'obiettivo, aggiungendo una penalità per lo spostamento dei pesi importanti.

Testo e illustrazione sono stati preparati con l'aiuto dell'AI. I due pesi, le loro importanze e la dimostrazione sono un esempio didattico mio e semplificato; l'illustrazione è una metafora, non uno schema della struttura del modello.

Tenere i primi quattro? Allora la memoria conosce solo l'inizio. Tenere sempre gli ultimi quattro? Allora conosce solo la fine. Un'estrazione equa di «quattro dal totale» richiederebbe di conservare tutto oppure di conoscere in anticipo il numero di messaggi. La domanda è: come dare a ogni messaggio la stessa probabilità, con un numero fisso di posti e un flusso di lunghezza ignota?

Il Reservoir Sampling è un modo per mantenere un campione casuale di dimensione fissa durante un unico passaggio su dati di cui non conosciamo in anticipo la quantità. Dopo ogni nuovo messaggio la memoria, qui chiamata serbatoio, contiene un campione casuale equo di tutto ciò che è arrivato fino a quel momento. La versione più semplice, l'Algorithm R, è descritta da Vitter, Random Sampling with a Reservoir, §2, che la attribuisce ad Alan Waterman.

La ricetta in due passi

1. I primi quattro messaggi entrano in memoria senza estrazione.
2. Il messaggio numero $t$ (il quinto, il sesto e ogni successivo) entra in memoria con probabilità $4/t$. Se è entrato, sostituisce uno dei quattro salvati, scelto a caso.

Il quinto messaggio entra quindi con probabilità 4/5, il centesimo con probabilità 4/100. I nuovi messaggi hanno una probabilità di entrare sempre più bassa, ma i vecchi sono già stati esposti molte volte al rischio di essere scartati, e i due effetti si compensano esattamente. Verifichiamolo dopo il quinto messaggio. Entra con probabilità 4/5. Il primo messaggio esce solo se il quinto è entrato (4/5) ed è finito proprio al suo posto (1/4), cioè con probabilità 1/5. Resta con probabilità 4/5: la stessa del quinto. Dopo $t$ messaggi ciascuno di essi è in memoria con probabilità $4/t$.

Una probabilità uguale non è una garanzia

Nell'esperimento il flusso ha 20 messaggi. Diciotto riguardano la consegna e due, il nono e il quindicesimo, riguardano i resi. Ogni avvio fa scorrere un flusso del genere 2000 volte e conta quanto spesso una data posizione è rimasta in memoria alla fine. Le estrazioni sono vere, quindi i risultati differiscono ogni volta di una frazione di punto percentuale.

Con il Reservoir Sampling ogni barra vale circa il 20%, cioè 4/20. Allo stesso tempo, nella maggior parte delle esecuzioni nessuno dei due resi resta in memoria. Il valore esatto è 3060/4845, cioè circa il 63%: tante sono, fra tutte le quaterne scelte tra 20 messaggi, quelle composte soltanto dai diciotto messaggi sulla consegna. Il metodo è equo verso i singoli messaggi, ma non si preoccupa che ogni categoria abbia un rappresentante.

Dove tutto questo conta

Nell'addestramento con ripetizioni il Reservoir Sampling è talvolta il modo in cui si scrive nel buffer: non occorre conoscere la lunghezza del flusso né i confini tra i compiti. Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, algoritmo 2 lo usano proprio così. Nei loro esperimenti su compiti con immagini funzionava bene, tranne che con memorie molto piccole, dove dal buffer sparivano le classi precedenti; in quel caso andavano meglio le strategie che curano una rappresentazione uguale delle classi (§4.4). È un risultato per la classificazione di immagini, non per gli LLM.

L'algoritmo in sé non riguarda il machine learning. Il lavoro di Vitter del 1985 descrive l'estrazione di record da un nastro magnetico di lunghezza ignota e propone varianti più veloci che, invece di estrarre a ogni record, calcolano quanti record saltare. I messaggi dei clienti e il flusso di 20 posizioni sono un esempio mio.

• Experience Replay ha bisogno di un buffer con vecchi esempi; il Reservoir Sampling è uno dei modi per decidere che cosa vi entra.
• Continual Learning presuppone l'apprendimento da un flusso di dati con memoria limitata, cioè una situazione in cui non si può conservare tutto.
• Catastrophic Forgetting [Polski] può aggravarsi quando da una memoria piccola escono tutti gli esempi di una vecchia categoria.

Testo e illustrazione sono stati preparati con l'aiuto dell'AI. Il flusso di messaggi e la dimostrazione sono un esempio didattico mio e semplificato; l'illustrazione è una metafora, non uno schema dell'algoritmo.

L'Experience Replay (ER) consiste nel conservare una parte degli esempi precedenti e nel riutilizzarli per l'addestramento. Nella variante semplice, al batch di nuovi dati mescoliamo esempi presi da una memoria chiamata replay buffer. È un contenitore di dati per le ripetizioni, non una registrazione di tutto ciò che il modello sa. Questo addestramento congiunto è descritto da Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, algoritmo 1.

Che cosa entra nell'esercizio successivo

Prima di perdere l'archivio abbiamo salvato quattro messaggi insieme ai reparti corretti. Ora abbiamo quattro nuovi reclami. Senza ripetizioni il modello impara su quattro nuovi messaggi. Con le ripetizioni si esercita anche su quattro vecchi: riceve di nuovo il segnale che «Dov'è il pacco?» appartiene alla consegna. In questo piccolo esempio usiamo l'intero buffer; i buffer più grandi di solito forniscono una porzione estratta a caso.

Non basta però contare i posti in memoria. Quattro domande salvate sulla consegna non contengono nemmeno un esempio di reso. Sostituendone due con «Come rispedisco un acquisto?» e «Voglio restituire una camicia», il numero di ripetizioni resta lo stesso, ma copre entrambi i reparti precedenti. L'esperimento qui sotto conta gli esempi nel batch di dati; non prevede l'accuratezza del modello.

Le ripetizioni aiutano solo sui dati disponibili

Il modello ottiene l'occasione di esercitarsi sulle risposte precedenti, ma non la garanzia di conservare tutte le capacità. Un piccolo campione casuale può tralasciare del tutto una categoria rara; i ricercatori hanno osservato questo problema con buffer molto piccoli (§4.4 dello stesso lavoro). I nostri messaggi sono un esempio mio, non il risultato di quegli esperimenti. L'effetto dell'addestramento va verificato su messaggi vecchi e nuovi separati, non usati per l'addestramento. Il buffer occupa inoltre memoria e richiede di conservare i dati scelti.

Vedi anche: Reservoir Sampling — un modo per decidere quali esempi di un flusso entrano in un buffer di dimensione fissa, che dà a ciascuno la stessa probabilità.

Nei giochi, nel Reinforcement Learning [Polski] — l'apprendimento di azioni in base a ricompense — si conservano la situazione, l'azione, la ricompensa e la situazione successiva. Estrarre a caso queste registrazioni riduce la dipendenza da eventi che si susseguono immediatamente (Mnih et al., Human-level control through deep reinforcement learning, Methods, «Training algorithm for deep Q-networks»). Sono dati diversi da un messaggio con il reparto corretto; i risultati ottenuti su Atari non vanno trasferiti direttamente agli LLM.

• Continual Learning definisce l'obiettivo di proseguire l'addestramento conservando le capacità precedenti; l'ER è uno dei modi per raggiungerlo.
• Catastrophic Forgetting [Polski] descrive un forte peggioramento delle vecchie capacità, che le ripetizioni possono limitare.
• Fine-tuning [Polski] è l'ulteriore addestramento di un modello; il replay ne cambia la selezione dei dati. Il semplice incollare vecchi messaggi in una conversazione non è un aggiornamento del modello di questo tipo.

Testo e illustrazione sono stati preparati con l'aiuto dell'AI. I messaggi e la dimostrazione sono un esempio didattico mio e semplificato; l'illustrazione è una metafora, non uno schema della struttura del modello.

Ti serve insegnare al modello cose nuove conservando le capacità precedenti. È l'obiettivo del Continual Learning: l'apprendimento su dati o compiti che arrivano in sequenza, tenendo conto di ciò che il modello ha imparato prima. Il nome indica un problema e una famiglia di approcci; non garantisce che il modello non dimentichi. Questa esigenza è descritta da Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §1.

Che cosa cambiamo nell'addestramento e nella verifica

Supponiamo che l'archivio completo degli esempi usati nell'addestramento precedente non sia più disponibile. Prima di eliminarlo ne abbiamo conservato un piccolo campione: 20 messaggi di cui conosciamo il reparto corretto. Uno dei metodi possibili consiste nel mescolare questo campione ai nuovi esempi di reclami. In questo modo l'addestramento successivo riceve anche il segnale di continuare a gestire correttamente «Dov'è il mio pacco?». Il riutilizzo di vecchi esempi è una delle strategie descritte da van de Ven e Tolias, Three scenarios for continual learning, §3.3.

Vedi anche: Experience Replay — conservare un piccolo campione di vecchi esempi e mescolarlo al nuovo addestramento.

Il team di valutazione conserva un test separato di vecchi messaggi, che non usiamo per l'addestramento. Dopo ogni aggiornamento controlliamo le categorie vecchie e quelle nuove. I numeri qui sotto sono un esempio inventato, non il risultato di uno studio; ogni test contiene 100 messaggi.

L'ultima variante conserva meglio la capacità precedente, anche se riconosce i reclami peggio della seconda. La tabella mostra che cosa confrontare; non promette un risultato simile dopo aver aggiunto 20 esempi.

Le condizioni cambiano la difficoltà

Nel nostro esempio il modello sceglie da solo tra tutti i reparti che conosce. Un suggerimento del tipo «questo è un messaggio della nuova categoria» renderebbe il test più facile. La disponibilità di suggerimenti simili e dei confini tra i compiti conta quando si confrontano i metodi (van de Ven e Tolias, §2–2.3). Un campione piccolo può tralasciare le domande rare; una buona media non dimostra che ogni capacità sia stata conservata.

• Catastrophic Forgetting [Polski] descrive un forte peggioramento delle vecchie capacità; la sua dimostrazione mostra come il nuovo addestramento modifica le impostazioni condivise.
• Fine-tuning [Polski] è l'ulteriore addestramento di un modello su esempi selezionati. Dopo ogni nuovo addestramento controlliamo anche le capacità precedenti.
• Knowledge Distillation [Polski] può trasmettere indicazioni da un modello più vecchio a quello in aggiornamento; è una strategia diversa dal conservare i messaggi originali (§3.3 del lavoro di van de Ven e Tolias).

Testo e illustrazione sono stati preparati con l'aiuto dell'AI; i messaggi, la dimensione del campione e i risultati della tabella sono un esempio didattico mio. L'illustrazione mostra l'obiettivo di conservare le capacità precedenti, non la struttura del modello.