Continual Learning

Модель направляет сообщения клиентов в отделы «заказы» и «возвраты». Она умеет распознать «Где моя посылка?». Теперь компания открывает отдел рекламаций. Ты дообучаешь модель на сообщениях о повреждённых товарах. Рекламации попадают по адресу всё точнее, но часть вопросов о доставке тоже начинает оказываться в новом отделе. Проверка одних только рекламаций дала бы ложное ощущение прогресса.

Тебе нужно учить модель новому, сохраняя прежние умения. Это цель Continual Learning: обучения на данных или задачах, которые поступают последовательно, с учётом того, чему модель научилась раньше. Название обозначает проблему и семейство подходов; оно не гарантирует, что забывания не будет. Такую потребность описывают Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §1.

Что мы меняем в обучении и проверке

Допустим, полный архив примеров, на которых модель училась раньше, уже недоступен. Перед его удалением мы сохранили небольшую выборку: 20 сообщений с известными правильными отделами. Один из возможных методов состоит в том, чтобы подмешать эту выборку к новым примерам рекламаций. Благодаря этому дальнейшее обучение получает ещё и сигнал по-прежнему правильно обрабатывать «Где моя посылка?». Повторное использование старых примеров — одна из стратегий, которые описывают van de Ven и Tolias, Three scenarios for continual learning, §3.3.

См. также: Experience Replay — хранение небольшой выборки старых примеров и подмешивание её к новому обучению.

Команда, которая оценивает модель, держит отдельный тест из старых сообщений, который мы не используем для обучения. После каждого обновления мы проверяем и старые, и новые категории. Числа ниже — выдуманный пример, а не результат исследования; в каждом тесте 100 сообщений.

Вариант модели	Правильные старые сообщения	Правильные рекламации
До нового обучения	90/100	0/100 — такой категории нет
После обучения только на рекламациях	40/100	92/100
После обучения с выборкой старых сообщений	89/100	87/100

Последний вариант лучше сохраняет прежнее умение, хотя распознаёт рекламации слабее, чем второй. Таблица показывает, что сравнивать; она не обещает такого результата после добавления 20 примеров.

Условия меняют сложность

В нашем примере модель сама выбирает среди всех известных ей отделов. Подсказка «это сообщение из новой категории» облегчила бы тест. Доступность таких подсказок и границ между задачами важна при сравнении методов (van de Ven и Tolias, §2–2.3). Небольшая выборка может упустить редкие вопросы; хорошее среднее не доказывает, что сохранилось каждое умение.

• Catastrophic Forgetting [Polski] описывает значительное ухудшение старых умений; его демонстрация показывает, как новое обучение меняет общие настройки.
• Fine-tuning [Polski] — это дальнейшее обучение модели на отобранных примерах. После очередных тренировок мы проверяем и прежние способности.
• Knowledge Distillation [Polski] может передавать подсказки от старой модели к обновляемой; это другая стратегия, чем хранение исходных сообщений (§3.3 работы van de Ven и Tolias).

Текст и иллюстрация подготовлены с помощью ИИ; сообщения, размер выборки и результаты в таблице — собственный учебный пример. Иллюстрация показывает цель — сохранение прежних умений, а не устройство модели.