Самое простое правило — прямая линия: «каждый лишний градус — это несколько лишних шариков». В примере из этой заметки она ошибается на записанных днях обычно на 27,5 шарика, потому что не видит, что в самую сильную жару продажи падают. Значит, можно дать правилу больше свободы и позволить кривой изгибаться. Самая гибкая из опробованных кривых проходит точно через все 10 точек. Её ошибка на днях из тетради равна 0.

Выглядит это как идеальное правило. Только вот дни из тетради уже прошли, а правило должно работать завтра. На 400 новых днях из того же киоска «идеальная» кривая ошибается обычно на 236,5 шарика. Умеренно гибкая кривая, которая на тетради выглядела хуже (10,9), на новых днях ошибается на 16,8.

Overfitting — это ситуация, когда у модели маленькая ошибка на данных, использованных для обучения, а ошибка на новых данных того же рода слишком велика по сравнению с ней (Goodfellow, Bengio и Courville, Deep Learning, §5.2). Модель подстроилась под особенности своего набора, которые за его пределами не повторяются. Обратная беда называется underfitting: правило слишком простое, чтобы хорошо описать даже те данные, которые оно видело. Так ведёт себя прямая линия из нашего примера.

Откуда берётся эта разница

Каждая запись в тетради состоит из двух вещей: закономерности (теплее — значит, больше мороженого) и случайности (как раз приехала экскурсия). Правило должно уловить первую и пропустить вторую. Но модель не знает, что есть что. Она видит только точки.

Сколько случайности модель впитает, зависит от её гибкости, которую в литературе называют capacity: способности подстроиться под множество разных форм. Кривую в примере описывают от 2 до 10 чисел, которые подбираются под данные; их количество — это степень кривой плюс один. У кривой степени 9 таких чисел 10 на 10 дней, поэтому она может попасть в каждую точку, вместе со всей случайностью. Авторы учебника описывают это так: очень гибкая модель может представить правильную зависимость, но также и множество других, столь же хорошо подходящих к обучающим данным, и мала вероятность, что она выберет именно ту, которая оправдает себя дальше (§5.2).

Типичный ход событий такой: когда гибкость растёт, ошибка на обучающих данных уменьшается, а ошибка на новых данных сначала уменьшается, потом начинает расти (§5.2, рисунок 5.3). Отсюда следует практическое правило. Модель не оценивают на данных, на которых она училась, а гибкость не подбирают по ошибке на этих данных, потому что та всегда укажет на наибольшую. Часть данных откладывают в сторону: validation set [Polski] служит для выбора настроек, а отдельный test set — для итоговой оценки (§5.3).

Проверь сам

Ниже — тот же киоск. Все числа из этой заметки можно воспроизвести: после нажатия «Сначала» видно 10 дней, а эксперименты 1–5 задают описанные случаи.

Стоит сделать две вещи, которых не показывает статичный график. Во-первых, включи «24 другие тетради» и меняй степень: при низкой серые линии держатся близко друг к другу, при высокой расходятся во все стороны, хотя каждая получена из того же киоска. Во-вторых, перетащи одну точку высоко вверх. Кривая степени 2 сдвинется лишь немного, а кривая степени 9 перестроится по всей длине, чтобы в неё попасть.

Что помогает

• Больше данных. При 80 днях та же кривая степени 9 ошибается обычно на 14,8 шарика на тетради и на 15,9 на новых днях. Разница почти исчезает, потому что кривая уже не может попасть в каждую точку (§5.2).
• Меньшая гибкость. Кривая степени 3 на 10 днях: 10,9 на тетради, 16,8 на новых днях.
• Regularization, то есть изменение способа обучения, которое должно уменьшить ошибку на новых данных, а не на обучающих (§5.2.2). Пример — штраф за большие коэффициенты, родственный Weight decay [Polski]: кривая степени 9 со штрафом λ = 0,01 ошибается на 5,8 на тетради и на 21,2 на новых днях, а не на 236,5.

Ни одну из этих настроек нельзя выбрать, глядя только на ошибку на обучающих данных.

Ограничения

• Это собственный пример с одной входной величиной и смоделированными данными. Сама случайность даёт здесь обычно 15 шариков ошибки, и ни одно правило не опустится ниже на новых днях.
• Форма «сначала лучше, потом хуже» типична, но не гарантирована. Авторы отмечают, что в глубоких сетях трудно даже установить фактическую гибкость модели, потому что она зависит ещё и от алгоритма обучения (§5.2). Поэтому число параметров LLM само по себе не говорит, переобучена ли модель.
• Маленькая ошибка на новых данных относится к данным из того же источника. Если киоск переедет к морю, городская тетрадь ничего не обещает.

Связанные заметки

• Weight decay [Polski] ограничивает величину весов и является одним из способов уменьшить разницу между ошибкой на обучающих и на новых данных.
• Grokking [Polski] описывает случаи, когда модель, выглядящая переобученной, после долгого дальнейшего обучения начинает хорошо работать на новых данных.
• Fine-tuning [Polski] на маленьком наборе требует того же контроля: отдельных данных, которых модель не видела при обучении.
• Catastrophic Forgetting [Polski] — другая проблема: там модель теряет прежнее умение после нового обучения, а здесь с самого начала плохо переносится за пределы собственных обучающих данных.

Для варианта 50% мы собираем удачные и неудачные попытки агента на задачах с разным временем человека. Подбираем кривую шансов на успех, а затем считываем время, при котором она пересекает 50%. Это предсказание для распределения задач с данным временем; оно не означает, что у каждой из них одинаковый шанс быть выполненной. METR: определение и методология.

Учебный пример: если подобранная кривая достигает 50% на двух часах, то два часа и есть горизонт. Удачную задачу агент может выполнить гораздо быстрее. Сам по себе результат не говорит и о том, насколько успешно агент справится с задачей из другой области.

Чтобы такое считывание имело смысл, между временем человека и сложностью для ИИ должна быть осмысленная зависимость. Когда кривая плоская, небольшое изменение шансов может сильно сдвинуть точку её пересечения с порогом. Статья о пересчёте горизонта METR показывает эту проблему на примере, который можно просчитать, и разбирает новую подгонку к данным METR. Nguyen и Fithian, §2–3.

При сравнении горизонтов нужно сохранять сведения о наборе задач, среде агента, бюджете попыток и принятом пороге успешности.

Допустим, два агента решают одни и те же три задачи. Первый обычно справляется с A и B, второй — ещё и с C. Сам процент успехов даёт рейтинг. IRT пытается вдобавок оценить, насколько C сложнее остальных задач и какая разница в способностях объясняет картину ответов. Это учебный пример; такой маленькой таблицы недостаточно для надёжной подгонки.

В простой модели Раша шанс на успех растёт, когда способности агента больше по отношению к сложности задачи. Обе величины скрытые: мы делаем о них выводы по результатам, а не отождествляем сразу сложность с длиной инструкции или временем человека. Разные варианты IRT добавляют новые параметры и допущения.

В анализе горизонтов METR авторы связывают скрытую сложность со временем работы человека с помощью обучаемой кривой. Они добавляют эффекты семейств задач и разброс результатов повторных попыток. Это позволяет проверить, в каком диапазоне время действительно различает задачи, трудные и лёгкие для ИИ. Nguyen и Fithian, §2.3 и §3.1.

Хорошее предсказание ответов не доказывает, что выученный параметр охватывает все виды способностей агента. При интерпретации нужно проверять допущения модели и результаты на задачах, не использованных при подгонке.

Можно учить модель рекламациям без всяких ограничений. Тогда веса сдвигаются туда, где это помогает новой задаче, — в том числе те, от которых зависело распознавание доставки и возвратов. Можно также штрафовать любое изменение одинаково, но тогда модель держится за старые настройки так крепко, что плохо учится новому. Нужен ответ на вопрос: какие веса можно трогать, а какие лучше не надо?

Elastic Weight Consolidation (EWC) добавляет к обучению новой задаче штраф за отдаление весов от значений после старой задачи, причём штраф тем больше, чем важнее был данный вес для старой задачи. Авторы сравнивают это с пружиной, прикреплённой к каждому весу: жёсткой у важных весов, слабой у остальных (Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §2).

Два веса, одна новая задача

Возьмём всего два веса. После обучения доставке и возвратам оба равны 1. Первый для старых отделов очень важен (важность 10), второй почти безразличен (важность 0,1). Новая задача требует лишь, чтобы сумма обоих весов равнялась 4. Этому удовлетворяет много настроек: (2, 2), но также и (1, 3).

• Без защиты обучение сдвигает оба веса поровну, до (2, 2). Новая задача освоена, но важный вес уехал на 1, и потери на старой задаче растут с 0 до 5,05.
• Одинаковый штраф для обоих весов останавливает их на полпути, на (1,67, 1,67). Старая задача страдает меньше, но сумма равна 3,33 вместо 4.
• EWC переносит почти всё движение на маловажный вес: (1,02, 2,80). Сумма равна 3,82, а потери на старой задаче — всего 0,16.

Потери — это число, которое говорит, насколько сильно модель ошибается; чем оно меньше, тем лучше. В эксперименте ниже можно менять силу штрафа λ и способ защиты. Результат считается точно для этого примера с двумя весами; это не симуляция настоящей сети.

Как узнать, какой вес важен

В настоящей сети никто не задаёт важность заранее. Её оценивают после завершения старой задачи, пока её данные ещё доступны: проверяют, насколько сильно небольшое изменение данного веса меняет ответы модели на старых примерах. Работа использует для этого диагональ информационной матрицы Фишера, то есть одно число важности на каждый вес. Потом данные можно удалить; остаются старые значения весов и их важности.

Во время нового обучения минимизируется сумма двух слагаемых (уравнение 3 в работе):

$L_B$ — потери на новой задаче, $\theta_i$ — текущее значение веса номер $i$, $\theta^*_{A,i}$ — его значение после старой задачи, $F_i$ — его важность, а $\lambda$ говорит, насколько старая задача значима по сравнению с новой. В нашем примере $F = (10;\ 0{,}1)$ и $\lambda = 1$.

Границы метода

Важность — это приближение, которое считается в одной точке, отдельно для каждого веса. Сами авторы показывают, что их оценка бывает слишком уверенной в том, какие веса несущественны, и называют это главной слабостью метода (§2.2 и §3). В их экспериментах с играми Atari агент с EWC учился многим играм по очереди, но не сравнялся с отдельными сетями, обученными для каждой игры. Результаты относятся к распознаванию цифр и играм, а не к большим языковым моделям. Наши два веса и сообщения клиентов — собственное упрощение.

• Catastrophic Forgetting [Polski] — это значительное ухудшение прежних умений после нового обучения; EWC пытается ограничить его без доступа к старым данным.
• Experience Replay решает ту же проблему иначе: хранит часть старых примеров вместо важностей весов.
• Continual Learning задаёт цель, то есть обучение новым задачам с сохранением прежних; EWC — один из методов.
• Fine-tuning [Polski] — это дальнейшее обучение готовой модели; EWC меняет его цель, добавляя штраф за сдвиг важных весов.

Текст и иллюстрация подготовлены с помощью ИИ. Два веса, их важности и демонстрация — собственный упрощённый учебный пример; иллюстрация — метафора, а не схема устройства модели.

Оставить первые четыре? Тогда память знает только начало. Всегда держать четыре последних? Тогда она знает только конец. Честный случайный выбор «четырёх из всего» потребовал бы хранить всё или заранее знать число сообщений. Вопрос такой: как при постоянном числе мест и неизвестной длине потока дать каждому сообщению один и тот же шанс?

Reservoir Sampling — это способ поддерживать случайную выборку постоянного размера за один проход по данным, количество которых заранее неизвестно. После каждого очередного сообщения память, называемая здесь резервуаром, содержит честную случайную выборку из всего, что пришло до этого момента. Простейшую версию, Algorithm R, описывает Vitter, Random Sampling with a Reservoir, §2, приписывая её Alan Waterman.

Рецепт в два шага

1. Первые четыре сообщения попадают в память без жребия.
2. Сообщение номер $t$ (пятое, шестое и каждое следующее) попадает в память с шансом $4/t$. Если попало, оно заменяет одно из четырёх сохранённых, выбранное случайно.

Пятое сообщение, таким образом, входит с шансом 4/5, сотое — с шансом 4/100. У новых сообщений шанс войти всё меньше, но старые уже много раз рисковали быть выброшенными, и эти два эффекта в точности уравновешиваются. Проверим это после пятого сообщения. Оно входит с шансом 4/5. Первое сообщение выпадает только тогда, когда пятое вошло (4/5) и попало как раз на его место (1/4), то есть с шансом 1/5. Оно остаётся с шансом 4/5: таким же, как у пятого. После $t$ сообщений каждое из них находится в памяти с шансом $4/t$.

Равный шанс — не гарантия

В эксперименте поток состоит из 20 сообщений. Восемнадцать касаются доставки, а два, девятое и пятнадцатое, — возвратов. Каждый запуск пропускает такой поток 2000 раз и считает, как часто данная позиция оставалась в памяти в конце. Случайный выбор настоящий, поэтому результаты каждый раз отличаются на долю процента.

При Reservoir Sampling каждый столбик составляет около 20%, то есть 4/20. При этом в большинстве прогонов ни один из двух возвратов не остаётся в памяти. Точное значение — 3060/4845, то есть около 63%: столько из всех четвёрок, выбранных из 20 сообщений, состоит исключительно из восемнадцати сообщений о доставке. Метод честен по отношению к отдельным сообщениям, но не следит за тем, чтобы у каждой категории был представитель.

Где это важно

В обучении с повторением Reservoir Sampling служит способом записи в буфер: не нужно знать ни длину потока, ни границы между задачами. Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, алгоритм 2 используют его именно так. В их экспериментах на задачах с изображениями он работал хорошо, за исключением очень маленькой памяти, когда из буфера исчезали более ранние классы; лучше тогда показывали себя стратегии, заботящиеся о равном представительстве классов (§4.4). Это результат для классификации изображений, а не для LLM.

Сам алгоритм не относится к машинному обучению. Работа Vitter 1985 года описывает случайный выбор записей с магнитной ленты неизвестной длины и предлагает более быстрые варианты, которые, вместо того чтобы бросать жребий на каждой записи, вычисляют, сколько записей пропустить. Сообщения клиентов и поток из 20 позиций — собственный пример.

• Experience Replay нуждается в буфере со старыми примерами; Reservoir Sampling — один из способов решать, что в него попадает.
• Continual Learning предполагает обучение на потоке данных при ограниченной памяти, то есть ситуацию, когда сохранить всё невозможно.
• Catastrophic Forgetting [Polski] может усилиться, когда из маленькой памяти выпадут все примеры старой категории.

Текст и иллюстрация подготовлены с помощью ИИ. Поток сообщений и демонстрация — собственный упрощённый учебный пример; иллюстрация — метафора, а не схема алгоритма.

Experience Replay (ER) состоит в том, чтобы хранить часть прежних примеров и повторно использовать их для обучения. В простом варианте к порции новых данных подмешиваются примеры из памяти, которую называют replay buffer. Это контейнер с данными для повторения, а не запись всех знаний модели. Такое совместное обучение описывают Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, алгоритм 1.

Что попадает в следующее упражнение

Перед потерей архива мы сохранили четыре сообщения вместе с правильными отделами. Теперь у нас четыре новые рекламации. Без повторов модель учится на четырёх новых сообщениях. С повторами она упражняется ещё и на четырёх старых: снова получает сигнал, что «Где посылка?» относится к доставке. В этом маленьком примере мы используем весь буфер; большие буферы обычно выдают случайно выбранную порцию.

Однако посчитать места в памяти недостаточно. В четырёх сохранённых вопросах о доставке нет ни одного примера возврата. Если заменить два из них на «Как отправить покупку обратно?» и «Хочу вернуть рубашку», число повторов останется тем же, но они охватят оба прежних отдела. Эксперимент ниже считает примеры в порции данных; он не предсказывает точность модели.

Повторы помогают только на доступных данных

Модель получает возможность упражняться в прежних ответах, но не гарантию сохранения всех умений. Маленькая случайная выборка может полностью упустить редкую категорию; такую проблему исследователи наблюдали при очень маленьких буферах (§4.4 той же работы). Наши сообщения — собственный пример, а не результат этих экспериментов. Результат обучения нужно проверять на отдельных старых и новых сообщениях, не использованных для тренировки. Кроме того, буфер занимает память и требует хранить отобранные данные.

См. также: Reservoir Sampling — способ решать, какие примеры из потока попадают в буфер постоянного размера, дающий каждому равный шанс.

В играх, в Reinforcement Learning [Polski] — обучении действиям на основе наград — сохраняют ситуацию, действие, награду и следующую ситуацию. Случайный выбор таких записей ослабляет зависимость от событий, следующих непосредственно друг за другом (Mnih et al., Human-level control through deep reinforcement learning, Methods, «Training algorithm for deep Q-networks»). Это другие данные, чем сообщение с правильным отделом; результаты с Atari нельзя напрямую переносить на LLM.

• Continual Learning задаёт цель дальнейшего обучения с сохранением прежних способностей; ER — один из способов её достижения.
• Catastrophic Forgetting [Polski] описывает значительное ухудшение прежних умений, которое повторы могут ограничивать.
• Fine-tuning [Polski] — это дальнейшее обучение модели; replay меняет подбор его данных. Простая вставка старых сообщений в разговор не является таким обновлением модели.

Текст и иллюстрация подготовлены с помощью ИИ. Сообщения и демонстрация — собственный упрощённый учебный пример; иллюстрация — метафора, а не схема устройства модели.

Тебе нужно учить модель новому, сохраняя прежние умения. Это цель Continual Learning: обучения на данных или задачах, которые поступают последовательно, с учётом того, чему модель научилась раньше. Название обозначает проблему и семейство подходов; оно не гарантирует, что забывания не будет. Такую потребность описывают Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §1.

Что мы меняем в обучении и проверке

Допустим, полный архив примеров, на которых модель училась раньше, уже недоступен. Перед его удалением мы сохранили небольшую выборку: 20 сообщений с известными правильными отделами. Один из возможных методов состоит в том, чтобы подмешать эту выборку к новым примерам рекламаций. Благодаря этому дальнейшее обучение получает ещё и сигнал по-прежнему правильно обрабатывать «Где моя посылка?». Повторное использование старых примеров — одна из стратегий, которые описывают van de Ven и Tolias, Three scenarios for continual learning, §3.3.

См. также: Experience Replay — хранение небольшой выборки старых примеров и подмешивание её к новому обучению.

Команда, которая оценивает модель, держит отдельный тест из старых сообщений, который мы не используем для обучения. После каждого обновления мы проверяем и старые, и новые категории. Числа ниже — выдуманный пример, а не результат исследования; в каждом тесте 100 сообщений.

Последний вариант лучше сохраняет прежнее умение, хотя распознаёт рекламации слабее, чем второй. Таблица показывает, что сравнивать; она не обещает такого результата после добавления 20 примеров.

Условия меняют сложность

В нашем примере модель сама выбирает среди всех известных ей отделов. Подсказка «это сообщение из новой категории» облегчила бы тест. Доступность таких подсказок и границ между задачами важна при сравнении методов (van de Ven и Tolias, §2–2.3). Небольшая выборка может упустить редкие вопросы; хорошее среднее не доказывает, что сохранилось каждое умение.

• Catastrophic Forgetting [Polski] описывает значительное ухудшение старых умений; его демонстрация показывает, как новое обучение меняет общие настройки.
• Fine-tuning [Polski] — это дальнейшее обучение модели на отобранных примерах. После очередных тренировок мы проверяем и прежние способности.
• Knowledge Distillation [Polski] может передавать подсказки от старой модели к обновляемой; это другая стратегия, чем хранение исходных сообщений (§3.3 работы van de Ven и Tolias).

Текст и иллюстрация подготовлены с помощью ИИ; сообщения, размер выборки и результаты в таблице — собственный учебный пример. Иллюстрация показывает цель — сохранение прежних умений, а не устройство модели.