Regularization

Tienes un puesto de helados. A partir de diez días registrados, un ordenador construye una regla para predecir las ventas según la temperatura. Le permites curvar la línea hasta que pase por cada observación. Sin embargo, entre las temperaturas registradas, la curva da saltos bruscos. Quieres calcular las existencias para mañana, y reducir los errores en el cuaderno no basta para distinguir qué giros describen la demanda y cuáles un día excepcional.

Puedes cambiar las reglas del aprendizaje: ajustar los datos sigue contando, pero no toda mejora en el cuaderno merece más flexibilidad. Regularization es una familia de cambios en el aprendizaje cuyo objetivo es reducir los errores en datos nuevos, incluso a costa de ajustar peor los datos utilizados para aprender (Goodfellow, Bengio y Courville, Deep Learning, §5.2.2). Es el objetivo del método, no una garantía de mejora.

Cambia lo que se premia al elegir la regla

En nuestro ejemplo, unos coeficientes describen la curva: números que determinan su forma. Durante el ajuste puedes añadir una penalización por sus valores grandes: elevar cada uno al cuadrado y sumar los resultados. Así, los valores negativos grandes también tienen un coste. Con una representación de la curva elegida adecuadamente, esta penalización limita los giros bruscos.

Elegimos entonces el menor valor de «error en los días registrados + intensidad de la penalización × penalización», en lugar del error por sí solo. Deep Learning, §7.1, ecuación 7.1, describe este cambio del objetivo de aprendizaje.

Considera dos propuestas ilustrativas: la curva A tiene una puntuación de error de 0 y una penalización de 100; la B, un error de 4 y una penalización de 4. Con una intensidad de 0,1, los costes totales son 0 + 0,1 × 100 = 10 y 4 + 0,1 × 4 = 4,4. Gana B. Los números son un ejemplo inventado para comparar costes, no mediciones de ventas ni resultados de la demostración. Sabemos por qué se eligió B; aún no sabemos si predecirá mejor mañana.

Comprueba si la restricción ayuda

Una penalización demasiado fuerte también puede aplanar un aumento real de la demanda con la temperatura. Su intensidad se elige con un Validation Set: días separados que sirven para seleccionar ajustes, no para ajustar los coeficientes. La suposición sobre la forma deseable de la regla puede ser equivocada.

• Overfitting describe un ajuste excesivo a días pasados. En su experimento, selecciona una curva flexible, muestra los días nuevos y aumenta la penalización: compara ambos errores. Comprueba también cuándo seguir aumentándola empieza a perjudicar. La demostración ajusta una curva real a datos simulados; no entrena un modelo de lenguaje.
• Weight decay acerca a cero los pesos, los números que controlan los cálculos del modelo. Es una de las técnicas utilizadas para este fin; Regularization es más amplio que una sola penalización o regla para reducir pesos.

El Transformer original también utilizaba otras técnicas de esta familia (Vaswani y otros, Attention Is All You Need, §5.4). El ejemplo de los helados explica una forma del mecanismo, no una receta para todos los modelos de lenguaje de gran tamaño (LLM).

El texto y la ilustración se prepararon con ayuda de IA. La comparación de costes es una simplificación propia.