Artículo · · 8 min de lectura
Un horizonte de METR más largo no significa tareas proporcionalmente más difíciles
Un equipo quiere determinar si a la siguiente versión de un agente se le pueden confiar tareas de programación más largas. Para ello compara resultados de un benchmark expresados como el tiempo que una persona necesitó para hacer el trabajo. Es fácil tomar un resultado así como indicio de cuánto trabajo se puede delegar ya en el agente.
Sin embargo, esa interpretación exige comprobar si un trabajo humano más largo supone realmente una tarea proporcionalmente más difícil para la IA. Si en cierto rango las tareas tienen una dificultad parecida para el agente, una pequeña mejora de su tasa de éxito puede desplazar el resultado a lo largo de un amplio intervalo de minutos.
Al elegir un agente necesitamos entonces un dato adicional: cómo ha cambiado la probabilidad de completar las mismas tareas. El multiplicador de tiempo por sí solo puede sobrestimar la diferencia entre versiones si casualmente comparamos un tramo del benchmark en el que el tiempo distingue mal la dificultad.
METR llama a esta medida time horizon. En la variante con un umbral del 50 %, es el tiempo de trabajo humano con el que la curva ajustada predice que la mitad de los intentos del agente tendrán éxito. Es una media para las tareas de una duración dada, no una garantía para cada una de ellas. Aquí no se mide el tiempo de funcionamiento de la propia IA.
En el preprint On the estimation and validity of AI time horizons—a statistical look at the METR plot, Drew T. Nguyen y William Fithian analizan precisamente la conversión del tiempo en dificultad. El trabajo, del ámbito de la evaluación de IA y la estadística y publicado por primera vez el 8 de octubre de 2026, señala en los datos de METR un tramo casi plano entre 2 y 30 minutos de trabajo humano. Las tareas de ese rango tenían, de media, una dificultad similar para los agentes estudiados.
Un pequeño cambio en la probabilidad puede desplazar mucho el umbral
El ejemplo siguiente es una simplificación didáctica propia, no un resultado del estudio. Tenemos tres tareas, A, B y C, que a una persona le llevan 3, 10 y 30 minutos respectivamente. Cada uno de los dos agentes realiza cada tarea 100 veces en el mismo entorno. Anotamos el éxito o el fracaso.
| Tarea | Tiempo humano | Éxitos del agente anterior | Éxitos del agente más reciente |
|---|---|---|---|
| A | 3 minutos | 50 de 100 | 52 de 100 |
| B | 10 minutos | 49 de 100 | 51 de 100 |
| C | 30 minutos | 48 de 100 | 50 de 100 |
Para mayor claridad, tratemos estas frecuencias como probabilidades conocidas con exactitud y unamos los puntos con curvas decrecientes. El agente anterior cruza el 50 % a los 3 minutos; el más reciente, a los 30. El horizonte se multiplica por diez, aunque en cada tarea la tasa de éxito solo ha aumentado 2 puntos porcentuales. En 300 intentos por agente, el número de éxitos ha pasado de 147 a 153.
Las tres tareas y todos los fracasos permanecen en la medición. Solo elegimos el punto en el que la curva cruza el umbral; no filtramos ni premiamos nada. El coste de esta prueba ficticia es de 600 intentos completos de agente. En un experimento real, tamaños de muestra así no permiten dar por segura una diferencia de 2 puntos porcentuales. Hay que ajustar la curva y estimar la incertidumbre.
El ejemplo muestra la operación de leer el horizonte en una curva casi plana. En un estudio, su forma hay que establecerla primero a partir de muchas tareas y sistemas. Si en otro rango la curva desciende mucho más deprisa, el mismo multiplicador del horizonte exige un aumento mayor de la probabilidad de éxito. Por eso los pasos de 3 a 30 minutos y de 30 minutos a 5 horas no son, por definición, porciones iguales de progreso.
El tiempo humano hay que ajustarlo a la dificultad para la IA
El punto de partida es una tabla de resultados: qué tarea realizó cada agente, cuántas veces y con qué resultado. Conocemos también el tiempo humano y la familia de la tarea. No conocemos un único número objetivo que describa su dificultad para la IA.
El baseline de los autores supone que cada nueva duplicación del tiempo humano aumenta la dificultad en un paso igual. Utiliza una pendiente común de las curvas para todos los agentes; estos se diferencian en su nivel de capacidad. Es un punto de referencia más sólido que la regresión separada para cada sistema que se empleaba originalmente.
La primera propuesta sustituye el paso constante por una curva aprendida y monótona de tipo spline: tramos unidos suavemente que pueden crecer más deprisa o más despacio. Un tiempo mayor sigue sin reducir la dificultad prevista, pero el aumento no tiene por qué ser uniforme.
La segunda propuesta, llamada Model 2 en el trabajo, utiliza la item response theory, IRT. A partir del patrón de éxitos y fracasos estima conjuntamente la capacidad de los agentes y la dificultad de las tareas. Tiene en cuenta también la semejanza entre las tareas de una misma familia y una variabilidad adicional en los resultados de los intentos. Gracias a ello, muchas repeticiones del mismo par agente–tarea no se tratan como otras tantas informaciones nuevas e independientes sobre todo el benchmark.
El primer paso en el que el baseline y los nuevos métodos difieren es la conversión del tiempo humano en dificultad. Los resultados de entrada de los agentes siguen siendo los mismos. Un nuevo ajuste puede, por tanto, cambiar el horizonte sin que cambie ni una sola respuesta de la IA.
Los mismos resultados de GPT-4o dieron otro horizonte
Los autores vuelven a analizar los resultados registrados de METR Time Horizon 1.1: 228 tareas y 26 sistemas de IA. En la figura 1, el horizonte de GPT-4o es de 7,2 minutos según el baseline de pendiente común y de 4,4 minutos según el Model 2. Son dos estimaciones a partir de los mismos intentos, no un empeoramiento del funcionamiento de GPT-4o ni una comparación del coste de su inferencia.
Una curva más flexible podría simplemente ajustarse mejor al ruido. Por eso los autores comprueban la predicción de resultados en familias enteras de tareas no utilizadas durante el ajuste. En una validación en cinco partes dividen las 79 familias, y no los intentos individuales de una misma tarea. Los dos nuevos métodos obtienen mejores estimaciones puntuales en las 12 combinaciones de métrica y forma de ponderar los resultados. Esto significa un menor error al predecir el éxito, no un aumento de la tasa de éxito de los propios agentes. §2.4–2.5 y figura 2
La ventaja no se reparte por igual. Donde más mejora el ajuste es en los sistemas de la época de GPT-4, cuyos horizontes atraviesan el rango plano señalado. Para los sistemas más potentes, las curvas comparadas casi coinciden. Las estimaciones para sistemas individuales son además mucho menos concluyentes que el resultado conjunto. Apéndice A
Detalles del experimento
Datos y configuración. Se trata de un nuevo análisis de resultados públicos de METR, no de una nueva serie de ejecuciones de agentes. Las tareas consisten en trabajo con software y tienen una evaluación automática del éxito. El tiempo humano suele ser la media geométrica de los tiempos de las ejecuciones exitosas; parte de los valores procede de estimaciones de expertos. El tiempo de inferencia de la IA no es una variable del horizonte medido.
Elección del modelo y del checkpoint. Los autores no entrenan nuevos LLM ni eligen su mejor checkpoint. Utilizan los resultados registrados de evaluaciones anteriores de METR. GPT-4o es un modelo de API con un número de parámetros no revelado. Este análisis no establece su protocolo interno de selección de pesos. Los ajustes estadísticos emplean el método de máxima verosimilitud; el Model 2 aplica el algoritmo EM y la aproximación numérica de integrales. Los gráficos de la forma de las curvas utilizan los datos completos, mientras que la comparación de la calidad de predicción descrita arriba utiliza la división por familias.
Métricas. El conjunto incluye el marginal log score, es decir, la entropía cruzada binaria, el Brier score y medidas de error suavizadas cerca de los umbrales del 50 % y del 80 %. La entropía cruzada penaliza con fuerza las predicciones seguras y erróneas; el Brier score mide el cuadrado de la diferencia entre la probabilidad y el resultado éxito/fracaso. Un valor más bajo es mejor. Cada una de las cuatro métricas se calculó con tres formas de ponderación: tareas iguales, familias iguales y la variante intermedia que usa METR. No las sumamos en una única mejora porcentual.
Coste e incertidumbre. El nuevo análisis requiere ajustes estadísticos, también por separado para las divisiones de validación, pero no llamadas adicionales a los LLM evaluados. El trabajo no informa de ahorros de tiempo ni de dinero derivados de implantar el estimador. Los intervalos de incertidumbre de la comparación principal se calculan por familias de tareas. Un mejor resultado puntual en cada métrica no significa que cada contraste por separado sea estadísticamente concluyente.
Las tareas más largas exigen volver a comprobar la escala
El trabajo no establece la causa del tramo plano ni muestra que vaya a aparecer en todos los benchmarks. Tampoco demuestra que las tareas de METR representen todo el trabajo de un programador. Los autores no cuestionan la tendencia exponencial de progreso observada; estudian qué significan los intervalos en el eje del tiempo de trabajo humano.
La aplicación práctica consiste en complementar el horizonte con un gráfico de la probabilidad de éxito para rangos fijos de tareas. Así se puede ver si un salto del horizonte corresponde a un cambio claro de fiabilidad. Al añadir tareas más largas a un benchmark propio, conviene comprobar en familias reservadas si su tiempo sigue prediciendo la dificultad para el agente antes de prolongar la curva existente.
Fuentes
- Drew T. Nguyen, William Fithian, On the estimation and validity of AI time horizons—a statistical look at the METR plot, preprint, 2026, v1. arXiv:2610.12466; DOI: 10.48550/arXiv.2610.12466. Texto completo.
- METR, Task-Completion Time Horizons of Frontier AI Models, definición de la medida, procedimiento de evaluación y limitaciones. La página indica que el gráfico ya no se actualiza activamente.