Um horizonte METR mais longo não significa tarefas proporcionalmente mais difíceis

Uma equipe quer saber se pode confiar tarefas de programação mais longas à próxima versão de um agente. Por isso compara resultados de benchmark expressos pelo tempo de que uma pessoa precisou para fazer o trabalho. É fácil tomar um resultado assim como indicação de quanto trabalho já se pode entregar ao agente.

Essa interpretação exige, porém, verificar se um trabalho humano mais longo significa de fato uma tarefa proporcionalmente mais difícil para a IA. Se, em certa faixa, as tarefas têm dificuldade parecida para o agente, uma pequena melhora na taxa de sucesso pode deslocar o resultado por uma grande faixa de minutos.

Na escolha de um agente, precisamos então de uma informação adicional: como mudou a chance de concluir as mesmas tarefas. O multiplicador de tempo, sozinho, pode superestimar a diferença entre versões, se estivermos comparando justamente um trecho do benchmark em que o tempo distingue mal a dificuldade.

A METR chama essa medida de time horizon. Na variante com limiar de 50%, é o tempo de trabalho humano no qual a curva ajustada prevê que metade das tentativas do agente dá certo. É uma média para as tarefas com aquele tempo, não uma garantia para cada uma delas. Não medimos aqui o tempo de funcionamento da própria IA.

No preprint On the estimation and validity of AI time horizons—a statistical look at the METR plot, Drew T. Nguyen e William Fithian analisam justamente a conversão do tempo em dificuldade. O trabalho, da área de avaliação de IA e estatística, publicado pela primeira vez em 8 de outubro de 2026, aponta nos dados da METR um trecho quase plano entre 2 e 30 minutos de trabalho humano. As tarefas dessa faixa tinham, em média, dificuldade parecida para os agentes estudados.

Uma pequena mudança nas chances pode deslocar muito o limiar

O exemplo a seguir é uma simplificação didática própria, não o resultado de um estudo. Temos três tarefas, A, B e C, que tomam de uma pessoa 3, 10 e 30 minutos, respectivamente. Cada um de dois agentes executa cada tarefa 100 vezes no mesmo ambiente. Registramos sucesso ou fracasso.

Tarefa	Tempo humano	Sucessos do agente mais antigo	Sucessos do agente mais novo
A	3 minutos	50 de 100	52 de 100
B	10 minutos	49 de 100	51 de 100
C	30 minutos	48 de 100	50 de 100

Para simplificar, tratemos essas frequências como chances conhecidas com exatidão e liguemos os pontos com curvas decrescentes. O agente mais antigo cruza os 50% aos 3 minutos; o mais novo, aos 30. O horizonte cresce dez vezes, embora em cada tarefa a taxa de sucesso tenha subido apenas 2 pontos percentuais. Em 300 tentativas por agente, o número de sucessos passou de 147 para 153.

As três tarefas e todos os fracassos continuam na medição. Escolhemos apenas o ponto em que a curva cruza o limiar; não filtramos nem premiamos nada. O custo desse teste hipotético são 600 tentativas completas de agente. Em um experimento real, amostras desse tamanho não permitem tratar uma diferença de 2 pontos percentuais como certa. É preciso ajustar uma curva e estimar a incerteza.

O exemplo mostra a operação de ler o horizonte em uma curva quase plana. Em um estudo, a forma dela ainda precisa ser estabelecida a partir de muitas tarefas e sistemas. Se, em outra faixa, a curva cai muito mais depressa, o mesmo multiplicador de horizonte exige um aumento maior das chances de sucesso. Por isso, as passagens de 3 para 30 minutos e de 30 minutos para 5 horas não são, por definição, porções iguais de progresso.

O tempo humano precisa ser ajustado à dificuldade para a IA

O ponto de partida é a tabela de resultados: que tarefa cada agente executou, quantas vezes e com que desfecho. Conhecemos também o tempo humano e a família da tarefa. Não conhecemos um número objetivo único que descreva a dificuldade dela para a IA.

O baseline dos autores pressupõe que cada nova duplicação do tempo humano aumenta a dificuldade no mesmo passo. Ele usa uma inclinação comum das curvas para todos os agentes; elas diferem no nível de capacidade. É uma referência mais forte do que a regressão separada para cada sistema, usada originalmente.

A primeira proposta substitui o passo constante por uma curva monotônica aprendida, do tipo spline: trechos ligados suavemente, que podem crescer mais depressa ou mais devagar. Um tempo maior continua sem reduzir a dificuldade prevista, mas o crescimento não precisa ser uniforme.

A segunda proposta, chamada no trabalho de Modelo 2, recorre à item response theory, IRT. A partir do padrão de sucessos e fracassos, ela estima em conjunto a capacidade dos agentes e a dificuldade das tarefas. Leva em conta também a semelhança entre tarefas de uma mesma família e uma variação adicional nos resultados das tentativas. Com isso, muitas repetições do mesmo par agente–tarefa não são tratadas como outras tantas informações novas e independentes sobre o benchmark inteiro.

O primeiro passo em que o baseline e os novos métodos diferem é a conversão do tempo humano em dificuldade. Os resultados dos agentes usados como entrada continuam os mesmos. O novo ajuste pode, portanto, mudar o horizonte sem que mude uma única resposta da IA.

Os mesmos resultados do GPT-4o deram outro horizonte

Os autores reanalisam os resultados registrados do METR Time Horizon 1.1: 228 tarefas e 26 sistemas de IA. Na figura 1, o horizonte do GPT-4o é de 7,2 minutos segundo o baseline com inclinação comum e de 4,4 minutos segundo o Modelo 2. São duas estimativas feitas com as mesmas tentativas, não uma piora no funcionamento do GPT-4o nem uma comparação do custo da sua inferência.

Uma curva mais flexível poderia simplesmente se ajustar melhor ao ruído. Por isso os autores verificam a previsão dos resultados em famílias inteiras de tarefas não utilizadas no ajuste. Em uma validação em cinco partes, dividem as 79 famílias, e não tentativas isoladas de uma mesma tarefa. Os dois novos métodos têm estimativas pontuais melhores em todas as 12 combinações de métrica e forma de ponderação dos resultados. Isso significa um erro menor na previsão do sucesso, não um aumento da taxa de sucesso dos próprios agentes. §2.4–2.5 e figura 2

A vantagem não se distribui por igual. O ajuste melhora mais para os sistemas da era do GPT-4, cujos horizontes atravessam a faixa plana apontada. Para os sistemas mais fortes, as curvas comparadas quase coincidem. As estimativas para sistemas individuais também são muito menos conclusivas do que o resultado agregado. Apêndice A

Detalhes do experimento

Dados e configuração. Trata-se de uma reanálise dos resultados públicos da METR, não de uma nova série de execuções de agentes. As tarefas envolvem trabalho com software e têm avaliação automática do sucesso. O tempo humano é, em geral, a média geométrica dos tempos das execuções bem-sucedidas; parte dos valores vem de estimativas de especialistas. O tempo de inferência da IA não é uma variável do horizonte medido.

Escolha do modelo e do checkpoint. Os autores não treinam novos LLMs nem escolhem o melhor checkpoint deles. Usam os resultados registrados de avaliações anteriores da METR. O GPT-4o é um modelo de API com número de parâmetros não divulgado. Esta análise não estabelece o protocolo interno de escolha dos seus pesos. Os ajustes estatísticos usam o método da máxima verossimilhança; o Modelo 2 emprega o algoritmo EM e a aproximação numérica de integrais. Os gráficos da forma das curvas usam os dados completos, e a comparação da qualidade de predição descrita acima usa a divisão por famílias.

Métricas. O conjunto inclui o marginal log score, isto é, a cross-entropy [Polski] binária, o Brier score e métricas suavizadas de erro nas proximidades dos limiares de 50% e 80%. A cross-entropy pune com força as previsões confiantes e erradas; o Brier score mede o quadrado da diferença entre a chance e o resultado sucesso/fracasso. Um valor menor é melhor. Cada uma das quatro métricas foi calculada com três formas de ponderação: tarefas com peso igual, famílias com peso igual e a variante intermediária usada pela METR. Não as somamos em uma única melhora percentual.

Custo e incerteza. A nova análise exige ajustes estatísticos, inclusive separados para cada divisão de validação, mas não chamadas adicionais aos LLMs avaliados. O trabalho não relata economia de tempo nem de dinheiro decorrente da adoção do estimador. Os intervalos de incerteza da comparação principal são calculados por famílias de tarefas. Um resultado pontual melhor em cada métrica não significa que cada contraste isolado seja estatisticamente conclusivo.

Tarefas mais longas exigem verificar a escala de novo

O trabalho não estabelece a causa do trecho plano nem mostra que ele aparecerá em todo benchmark. Tampouco prova que as tarefas da METR representam todo o trabalho de um programador. Os autores não contestam a tendência exponencial de progresso observada; eles investigam o que significam os intervalos no eixo do tempo de trabalho humano.

A aplicação prática é complementar o horizonte com um gráfico das chances de sucesso para faixas fixas de tarefas. Isso permite ver se um salto do horizonte corresponde a uma mudança nítida de confiabilidade. Ao acrescentar tarefas mais longas ao próprio benchmark, vale verificar, em famílias reservadas, se o tempo delas continua prevendo a dificuldade para o agente, antes de prolongar a curva usada até então.

Fontes

• Drew T. Nguyen, William Fithian, On the estimation and validity of AI time horizons—a statistical look at the METR plot, preprint, 2026, v1. arXiv:2610.12466; DOI: 10.48550/arXiv.2610.12466. Texto completo.
• METR, Task-Completion Time Horizons of Frontier AI Models, definição da medida, procedimento de avaliação e limitações. A página informa que o gráfico não é mais atualizado ativamente.