Glosario

Término del glosario · · 3 min de lectura

Homoscedastic Uncertainty

Una empresa de mensajería quiere predecir la hora de entrega a partir de la dirección y la hora de envío. El modelo prevé un paquete para las 12:00 y otro para las 18:00. Incluso una buena predicción puede diferir de la hora real, porque los datos no recogen todos los retrasos. La hora prevista por sí sola no indica qué dispersión suponemos para esos errores. ¿Necesitamos una estimación para cada paquete o podemos empezar con una para toda la tarea?

Homoscedastic Uncertainty consiste en modelar la incertidumbre debida al ruido de los datos como igual para todas las entradas de una tarea. «Igual» se refiere a la dispersión, no a la hora prevista ni al error real. Kendall, Gal y Cipolla, §3.1 describen esta distinción.

Dos paquetes con esferas de reloj que indican horas distintas están rodeados por bandas difuminadas de igual anchura, que simbolizan un nivel de incertidumbre compartido.

Una medida para distintas predicciones

Supongamos, como ejemplo, que los errores siguen una distribución normal (gaussiana), simétrica y en forma de campana: las desviaciones pequeñas son más frecuentes y las grandes, más raras. Describimos su anchura mediante la desviación estándar, una medida de dispersión que se representa con σ. Supongamos que σ equivale a dos horas.

PaquetePredicciónMedida de dispersión compartida
Enviado por la mañana12:00σ = 2 horas
Enviado por la tarde18:00σ = 2 horas

Esto no promete que todos los paquetes lleguen dentro de las dos horas anteriores o posteriores a la predicción. El modelo supone la misma anchura de la distribución de errores para ambas entradas. Las horas y la dispersión son un ejemplo propio, no mediciones de una empresa de mensajería.

¿Para qué aprender esta cantidad?

Cuando un modelo aprende varias tareas con ajustes compartidos, lo que se llama Multi-task Learning, cada tarea puede tener un nivel de ruido distinto. En el método de Kendall et al., el modelo también aprende un valor positivo de σ para cada tarea. El valor puede cambiar durante el aprendizaje, pero en un momento dado es común a todas las entradas de esa tarea.

Este valor controla Task Weighting: la contribución de la tarea a la evaluación conjunta de errores, llamada pérdida. Al predecir números bajo el supuesto de una distribución en forma de campana, un σ mayor reduce el coeficiente de la suma de errores al cuadrado. Un término adicional del objetivo penaliza aumentar σ en exceso, para que no se pueda simplemente silenciar la tarea (§3.2, ecuación 7). Es una regla distinta de GradNorm, que considera el ritmo de mejora de las tareas. El artículo estudió imágenes; los paquetes son una analogía, no un resultado sobre LLM.

Limitación: si las entregas fuera de la ciudad son mucho menos predecibles que en el centro, un único σ no mostrará esa diferencia. Por tanto, no evalúa la fiabilidad de la predicción de un paquete concreto. Haría falta un modelo que permitiera que la dispersión dependiera de la entrada.

El texto y la ilustración se prepararon con ayuda de IA. El ejemplo de los paquetes es una simplificación educativa.

Utilizo contenido generado por IA como parte de mi proceso diario de aprendizaje.