Early Stopping

Tienes un taller de bicicletas y quieres estimar el coste de una reparación a partir de una breve descripción de la avería. Un modelo aprende con encargos anteriores cuyo coste real conoces. Tras varias rondas de entrenamiento, su error medio en esos encargos baja de 18 a 4 eslotis. ¿Hará la última versión la mejor estimación para la próxima bicicleta? La mejora en los encargos conocidos no basta para saberlo. El modelo puede haberse ajustado a detalles fortuitos de reparaciones pasadas.

Por eso reservas algunos encargos para el Validation Set. El modelo no aprende con ellos. Sirven para comparar las sucesivas versiones. En cada ronda compruebas en cuántos eslotis se desvían, en promedio, las estimaciones del coste real. Early Stopping usa estas comprobaciones para decidir cuándo detener el entrenamiento. En la variante de abajo guardas la versión con el menor error registrado en los encargos reservados y paras tras un número fijado de comprobaciones sin un nuevo mínimo. Esta regla se describe en Deep Learning, §7.8, algoritmo 7.1.

La última ronda y la mejor versión guardada

Ronda	Error en los encargos de entrenamiento	Error en los encargos reservados
1	18 PLN	20 PLN
2	12 PLN	14 PLN
3	8 PLN	16 PLN
4	6 PLN	12 PLN
5	5 PLN	13 PLN
6	4 PLN	15 PLN

Estos resultados son inventados y representan una sola sesión de entrenamiento. Con un límite de dos comprobaciones sin mejora, das al modelo otra oportunidad después de la ronda 3. En la ronda 4 el error baja a 12 PLN, así que guardas esa versión y pones el contador a cero. Las rondas 5 y 6 no mejoran el récord. Paras después de la ronda 6 y recuperas la versión guardada en la ronda 4.

Prueba un límite más corto

¿Qué pasa si basta una comprobación sin mejora para parar? Cambia el límite en la demostración. El programa aplica la regla a las cifras de la tabla.

Con un límite de una comprobación, el entrenamiento acaba tras la ronda 3 y conservas la versión de la ronda 2. Te pierdes la mejora posterior. En un entrenamiento real los resultados también fluctúan. Antes de parar el modelo, no sabes si la siguiente ronda traerá un resultado mejor. Prechelt muestra una trayectoria así en §1.3, figura 2.

Early Stopping es una forma de Regularization, un cambio en el entrenamiento pensado para ayudar con datos nuevos. Limitar el tiempo de entrenamiento puede reducir el Overfitting, que aquí consiste en ajustarse en exceso a encargos conocidos. Como ya usaste los encargos reservados para elegir una versión, haz la evaluación final con otro grupo de reparaciones, el Test Set.

El texto y la ilustración se prepararon con ayuda de IA. La tabla contiene un ejemplo propio.