Continual Learning
Model kieruje wiadomości klientów do działów „zamówienia” i „zwroty”. Potrafi rozpoznać „Gdzie jest moja paczka?”. Teraz firma otwiera dział reklamacji. Douczasz model na wiadomościach o uszkodzonych produktach. Reklamacje trafiają coraz lepiej, ale część pytań o dostawę też zaczyna lądować w nowym dziale. Sprawdzenie samych reklamacji dałoby fałszywe poczucie postępu.
Potrzebujesz uczyć model kolejnych rzeczy, zachowując wcześniejsze umiejętności. To cel Continual Learning: uczenia na napływających kolejno danych lub zadaniach, z uwzględnieniem tego, czego model nauczył się wcześniej. Nazwa określa problem i rodzinę podejść; nie gwarantuje braku zapominania. Taką potrzebę opisują Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §1.
Co zmieniamy w nauce i sprawdzaniu
Załóżmy, że pełne archiwum przykładów użytych do wcześniejszego uczenia nie jest już dostępne. Przed jego usunięciem zachowaliśmy małą próbkę: 20 wiadomości ze znanymi poprawnymi działami. Jedna z możliwych metod polega na domieszaniu tej próbki do nowych przykładów reklamacji. Dzięki temu dalsze uczenie otrzymuje również sygnał, by nadal poprawnie obsługiwać „Gdzie jest moja paczka?”. Ponowne użycie dawnych przykładów jest jedną ze strategii opisanych przez van de Vena i Toliasa, Three scenarios for continual learning, §3.3.
Zespół oceniający zachowuje osobny test starych wiadomości, którego nie używamy do uczenia. Po każdej aktualizacji sprawdzamy stare i nowe kategorie. Poniższe liczby są wymyślonym przykładem, nie wynikiem badania; każdy test zawiera 100 wiadomości.
| Wariant modelu | Poprawne stare wiadomości | Poprawne reklamacje |
|---|---|---|
| Przed nową nauką | 90/100 | 0/100 — brak tej kategorii |
| Po nauce wyłącznie reklamacji | 40/100 | 92/100 |
| Po nauce z próbką dawnych wiadomości | 89/100 | 87/100 |
Ostatni wariant lepiej zachowuje wcześniejszą umiejętność, choć słabiej rozpoznaje reklamacje niż drugi. Tabela pokazuje, co porównywać; nie obiecuje takiego wyniku po dodaniu 20 przykładów.
Warunki zmieniają trudność
W naszym przykładzie model sam wybiera spośród wszystkich poznanych działów. Podpowiedź „to wiadomość z nowej kategorii” ułatwiałaby test. Dostępność takich podpowiedzi i granic między zadaniami jest ważna przy porównywaniu metod (van de Ven i Tolias, §2–2.3). Mała próbka może pominąć rzadkie pytania; dobra średnia nie dowodzi zachowania każdej umiejętności.
- Catastrophic Forgetting opisuje znaczne pogorszenie starych umiejętności; jego demonstracja pokazuje, jak nowa nauka zmienia wspólne ustawienia.
- Fine-tuning to dalsze uczenie modelu na wybranych przykładach. Po kolejnych treningach sprawdzamy również wcześniejsze zdolności.
- Knowledge Distillation może przekazywać wskazówki ze starszego modelu do aktualizowanego; to inna strategia niż przechowanie oryginalnych wiadomości (§3.3 pracy van de Vena i Toliasa).
Tekst i ilustrację przygotowano z pomocą AI; wiadomości, wielkość próbki i wyniki tabeli są własnym przykładem edukacyjnym. Ilustracja pokazuje cel zachowania wcześniejszych umiejętności, nie budowę modelu.