Término del glosario · · 3 min de lectura
Test Set
Tienes un puesto de helados y eliges una regla para planificar las existencias. Entrenas varias reglas con los días registrados y comparas sus errores en otros días. Gana una recta: las ventas previstas son el doble de la temperatura menos 20. Se equivoca, de media, en una porción. ¿Puedes afirmar ya que predecirá los próximos días igual de bien?
Todavía no: esos otros días te ayudaron a elegir al ganador. El resultado indica cómo rindió en la evaluación utilizada para elegirlo. Necesitas una evaluación que no haya influido ni en el aprendizaje ni en esa decisión.
Test Set es un conjunto de ejemplos reservado para la evaluación final de un modelo ya fijado. Ni sus datos ni sus resultados se utilizan para elegir el modelo o sus ajustes. Esta separación de funciones la describen Goodfellow, Bengio y Courville, Deep Learning, §5.3.
Primero cierra la elección, después descubre los días
Antes de empezar el aprendizaje, reservas dos días que no utilizarás para ningún ajuste. Después de elegir la recta, la compruebas con ellos:
| Temperatura | Ventas reales | Predicción de la recta | Error sin signo |
|---|---|---|---|
| 19°C | 19 porciones | 18 porciones | 1 porción |
| 26°C | 31 porciones | 32 porciones | 1 porción |
El error medio es de (1 + 1) / 2 = 1 porción. Es una evaluación de la regla elegida en esos dos días. La prueba por sí sola no cambió nada en ella. Los datos son inventados y dos observaciones bastan aquí únicamente para mostrar el cálculo.
¿Y si, después de ver el resultado, ajustas la recta para acertar también en esos días? Empiezas a utilizarlos para desarrollar la solución. Comprobarla de nuevo con ellos ya no ofrece una evaluación independiente de la versión modificada. Necesitas datos nuevos, no utilizados. El libro señala que aparece un problema parecido cuando, durante años, se ajustan soluciones a la misma prueba pública (§5.3).
Qué permite afirmar este resultado
La prueba debe reflejar las condiciones en las que se utilizará la regla. Evaluarla en días de verano en una ciudad no basta para predecir las ventas de invierno junto al mar. En el planteamiento básico suponemos ejemplos independientes procedentes del mismo tipo de condiciones que los datos de entrenamiento (§5.2). La copia de un día del cuaderno no se convierte en un ejemplo independiente al trasladarla a otro archivo.
Un conjunto pequeño da un resultado incierto: un día atípico puede cambiar mucho la media (§5.3.1). Test Set es una medición sobre una muestra concreta, no una promesa de comportamiento en cualquier situación.
- Validation Set sirve para elegir la regla. En su demostración puedes cerrar la elección antes de descubrir la prueba final con estos mismos dos días.
- Overfitting describe el ajuste excesivo a los datos de entrenamiento; una prueba separada ayuda a revelar la diferencia respecto a datos nuevos.
- En Fine-tuning, es decir, el aprendizaje adicional de un modelo existente, necesitas una evaluación en la que no hayan influido ese aprendizaje ni la elección de ajustes.
El texto y la ilustración se prepararon con ayuda de IA. El ejemplo de ventas es una simplificación propia; la ilustración representa la metáfora de una solución fijada que se comprueba sobre material separado.