Validation Set

Tienes un puesto de helados y quieres predecir las ventas diarias a partir de la temperatura. Has anotado tres días: a 20°C vendiste 20 porciones; a 22°C, 30; y a 24°C, 28. Comparas tres reglas: prever siempre 24 porciones, una línea recta y una curva que pasa exactamente por los tres resultados. La última no comete ningún error en el cuaderno. ¿Debería planificar las existencias de mañana?

Volver a comprobar esos mismos días no resuelve la duda. La regla flexible puede haberse ajustado también al azar, por ejemplo, a una excursión excepcionalmente numerosa a 22°C. Antes de elegir la regla, reservas otros días para comparar candidatos. Validation Set es una parte separada de los datos que se utiliza para elegir un modelo o sus ajustes, no para ajustar sus números aprendidos. Goodfellow, Bengio y Courville, Deep Learning, §5.3 describen esta separación.

Un cuaderno para aprender, otros días para elegir

Establecemos las reglas y sus números utilizando únicamente los datos de entrenamiento. La línea predice el doble de la temperatura menos 20. La curva es un arco ajustado a los tres puntos del cuaderno. Aquí, el error absoluto medio significa: calcular cuántas porciones se equivoca la predicción de cada día, ignorar el signo y promediar las diferencias.

En los días reservados, con 21°C, 23°C y 25°C, se vendieron respectivamente 23, 25 y 31 porciones. La curva predice 26,5, 30,5 y 22,5; su error medio es de unas 5,83 porciones. La línea predice 22, 26 y 30: el error es de 1 porción. Por eso elegimos la línea, aunque en el cuaderno perdía por 2 a 0. El Validation Set no mejoró ninguna regla; ayudó a elegir entre tres. Los datos son inventados y las predicciones fraccionarias representan ventas esperadas, no la división de una porción.

Después de elegir, todavía hace falta una evaluación final

Los días utilizados para elegir ya han influido en la decisión. Por eso, una tercera parte de datos, sin ejemplos compartidos con las otras, el test set, se utiliza solo para evaluar la solución elegida. En el ejemplo, la línea se equivoca en una media de 1 porción en dos días que aún no se habían mostrado. Si cambias la regla después de ver ese resultado, esos días también pasan a servir para elegir; pierden su papel de prueba independiente (§5.3).

Esta es una limitación importante: después de muchos intentos, la elección puede ajustarse al propio Validation Set y dar un resultado demasiado optimista. Aquí, tres días reservados son solo una ayuda didáctica, no una evaluación fiable de las ventas reales. Ningún porcentaje fijo de división garantiza una buena medición.

• Overfitting describe un ajuste excesivo a los ejemplos de entrenamiento; los datos separados ayudan a detectar su efecto.
• Fine-tuning es el entrenamiento adicional de un modelo existente; un Validation Set puede ayudar a elegir sus ajustes.
• Cross-entropy es otra forma de medir el error, frecuente al predecir texto; la separación de las funciones de los datos sigue siendo la misma.

El texto y la ilustración se prepararon con ayuda de IA. Los datos, las reglas y la demostración son un ejemplo simplificado propio; la ilustración es una metáfora de la elección y de conservar una muestra separada.