Experience Replay

Un modello ha imparato a smistare le domande dei clienti verso i reparti «consegna» e «resi». Ora lo addestri ulteriormente a riconoscere i reclami, per esempio «Il prodotto è arrivato danneggiato». Se negli esercizi successivi vede soltanto reclami, può gestire peggio il già noto «Dov'è il pacco?». Il vecchio archivio completo non è disponibile. Si può tornare almeno su qualche messaggio conservato?

L'Experience Replay (ER) consiste nel conservare una parte degli esempi precedenti e nel riutilizzarli per l'addestramento. Nella variante semplice, al batch di nuovi dati mescoliamo esempi presi da una memoria chiamata replay buffer. È un contenitore di dati per le ripetizioni, non una registrazione di tutto ciò che il modello sa. Questo addestramento congiunto è descritto da Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, algoritmo 1.

Che cosa entra nell'esercizio successivo

Prima di perdere l'archivio abbiamo salvato quattro messaggi insieme ai reparti corretti. Ora abbiamo quattro nuovi reclami. Senza ripetizioni il modello impara su quattro nuovi messaggi. Con le ripetizioni si esercita anche su quattro vecchi: riceve di nuovo il segnale che «Dov'è il pacco?» appartiene alla consegna. In questo piccolo esempio usiamo l'intero buffer; i buffer più grandi di solito forniscono una porzione estratta a caso.

Non basta però contare i posti in memoria. Quattro domande salvate sulla consegna non contengono nemmeno un esempio di reso. Sostituendone due con «Come rispedisco un acquisto?» e «Voglio restituire una camicia», il numero di ripetizioni resta lo stesso, ma copre entrambi i reparti precedenti. L'esperimento qui sotto conta gli esempi nel batch di dati; non prevede l'accuratezza del modello.

Le ripetizioni aiutano solo sui dati disponibili

Il modello ottiene l'occasione di esercitarsi sulle risposte precedenti, ma non la garanzia di conservare tutte le capacità. Un piccolo campione casuale può tralasciare del tutto una categoria rara; i ricercatori hanno osservato questo problema con buffer molto piccoli (§4.4 dello stesso lavoro). I nostri messaggi sono un esempio mio, non il risultato di quegli esperimenti. L'effetto dell'addestramento va verificato su messaggi vecchi e nuovi separati, non usati per l'addestramento. Il buffer occupa inoltre memoria e richiede di conservare i dati scelti.

Vedi anche: Reservoir Sampling — un modo per decidere quali esempi di un flusso entrano in un buffer di dimensione fissa, che dà a ciascuno la stessa probabilità.

Nei giochi, nel Reinforcement Learning [Polski] — l'apprendimento di azioni in base a ricompense — si conservano la situazione, l'azione, la ricompensa e la situazione successiva. Estrarre a caso queste registrazioni riduce la dipendenza da eventi che si susseguono immediatamente (Mnih et al., Human-level control through deep reinforcement learning, Methods, «Training algorithm for deep Q-networks»). Sono dati diversi da un messaggio con il reparto corretto; i risultati ottenuti su Atari non vanno trasferiti direttamente agli LLM.

• Continual Learning definisce l'obiettivo di proseguire l'addestramento conservando le capacità precedenti; l'ER è uno dei modi per raggiungerlo.
• Catastrophic Forgetting [Polski] descrive un forte peggioramento delle vecchie capacità, che le ripetizioni possono limitare.
• Fine-tuning [Polski] è l'ulteriore addestramento di un modello; il replay ne cambia la selezione dei dati. Il semplice incollare vecchi messaggi in una conversazione non è un aggiornamento del modello di questo tipo.

Testo e illustrazione sono stati preparati con l'aiuto dell'AI. I messaggi e la dimostrazione sono un esempio didattico mio e semplificato; l'illustrazione è una metafora, non uno schema della struttura del modello.