Time horizon

En la evaluación de agentes, el time horizon (horizonte temporal) describe la duración de las tareas con la que un agente alcanza un nivel de éxito elegido. La duración se mide por el tiempo que necesita una persona, no por el tiempo de funcionamiento de la IA.

Para la variante del 50 %, reunimos los intentos exitosos y fallidos del agente en tareas con distintos tiempos humanos. Ajustamos una curva de la probabilidad de éxito y después leemos el tiempo en el que cruza el 50 %. Es una predicción para la distribución de tareas de una duración dada; no significa que cada una de ellas tenga la misma probabilidad de completarse. METR: definición y metodología.

Un ejemplo didáctico: si la curva ajustada alcanza el 50 % a las dos horas, el horizonte es de dos horas. El agente puede completar una tarea con éxito mucho más rápido. El resultado tampoco indica por sí solo con qué éxito resolverá una tarea de otro ámbito.

La lectura exige una relación razonable entre el tiempo humano y la dificultad para la IA. Cuando la curva es plana, un cambio pequeño en la probabilidad puede desplazar mucho su cruce con el umbral. El artículo sobre la conversión del horizonte de METR muestra este problema con un ejemplo que se puede calcular y comenta un nuevo ajuste a los datos de METR. Nguyen y Fithian, §2–3.

Al comparar horizontes hay que conservar la información sobre el conjunto de tareas, el entorno del agente, el presupuesto de intentos y el umbral de éxito adoptado.

Utilizo contenido generado por IA como parte de mi proceso diario de aprendizaje.