Article · · 8 min de lecture
Un horizon METR plus long ne signifie pas des tâches proportionnellement plus difficiles
Une équipe veut savoir si elle peut confier à la nouvelle version d’un agent des tâches de programmation plus longues. Elle compare donc des résultats de benchmark exprimés par le temps dont un humain a eu besoin pour accomplir le travail. Il est tentant de lire un tel résultat comme une indication de la quantité de travail que l’on peut déjà déléguer à l’agent.
Cette interprétation exige pourtant de vérifier qu’un travail humain plus long correspond bien à une tâche d’autant plus difficile pour l’IA. Si, dans une certaine plage, les tâches présentent une difficulté voisine pour l’agent, une légère amélioration de son taux de réussite peut déplacer le résultat sur une large plage de minutes.
Pour choisir un agent, il nous faut alors une information supplémentaire : comment a évolué la chance de réussir les mêmes tâches. Le multiplicateur de temps, à lui seul, peut surestimer l’écart entre deux versions si l’on compare justement une portion du benchmark où le temps distingue mal la difficulté.
METR appelle cette mesure time horizon. Dans la variante au seuil de 50 %, c’est le temps de travail humain auquel la courbe ajustée prédit que la moitié des tentatives de l’agent réussissent. C’est une moyenne pour les tâches d’une durée donnée, pas une garantie pour chacune d’elles. On ne mesure pas ici le temps de fonctionnement de l’IA elle-même.
Dans le preprint On the estimation and validity of AI time horizons—a statistical look at the METR plot, Drew T. Nguyen et William Fithian analysent précisément cette conversion du temps en difficulté. Ce travail, qui relève de l’évaluation de l’IA et de la statistique et a été publié pour la première fois le 8 octobre 2026, met en évidence dans les données de METR un segment presque plat entre 2 et 30 minutes de travail humain. Les tâches de cette plage présentaient en moyenne une difficulté voisine pour les agents étudiés.
Une petite variation des chances peut déplacer le seuil très loin
L’exemple ci-dessous est une simplification pédagogique personnelle, pas un résultat de l’étude. Prenons trois tâches, A, B et C, qui demandent respectivement 3, 10 et 30 minutes à un humain. Chacun des deux agents exécute chaque tâche 100 fois dans le même environnement. On note le succès ou l’échec.
| Tâche | Temps humain | Succès de l’ancien agent | Succès du nouvel agent |
|---|---|---|---|
| A | 3 minutes | 50 sur 100 | 52 sur 100 |
| B | 10 minutes | 49 sur 100 | 51 sur 100 |
| C | 30 minutes | 48 sur 100 | 50 sur 100 |
Pour plus de clarté, traitons ces fréquences comme des chances connues avec exactitude et relions les points par des courbes décroissantes. L’ancien agent coupe 50 % à 3 minutes, le nouveau à 30. L’horizon est multiplié par dix, alors que le taux de réussite n’a augmenté que de 2 points de pourcentage sur chaque tâche. Sur 300 tentatives par agent, le nombre de succès est passé de 147 à 153.
Les trois tâches et tous les échecs restent dans la mesure. On choisit seulement l’endroit où la courbe coupe le seuil ; on ne filtre rien et on ne récompense rien. Le coût de ce test fictif est de 600 tentatives complètes d’agent. Dans une expérience réelle, de tels effectifs ne permettent pas de tenir un écart de 2 points de pourcentage pour certain. Il faut ajuster une courbe et estimer l’incertitude.
L’exemple montre l’opération qui consiste à lire l’horizon sur une courbe presque plate. Dans une étude, la forme de cette courbe reste à établir à partir de nombreuses tâches et de nombreux systèmes. Si, dans une autre plage, la courbe descend beaucoup plus vite, le même multiplicateur d’horizon exige une hausse plus forte des chances de succès. C’est pourquoi le passage de 3 à 30 minutes et celui de 30 minutes à 5 heures ne sont pas, par définition, des portions égales de progrès.
Le temps humain doit être ajusté à la difficulté pour l’IA
Le point de départ est un tableau de résultats : quelle tâche tel agent a exécutée, combien de fois et avec quel résultat. On connaît aussi le temps humain et la famille de la tâche. On ne connaît pas de nombre objectif unique qui décrirait sa difficulté pour l’IA.
Le modèle de référence des auteurs suppose que chaque doublement du temps humain augmente la difficulté du même pas. Il utilise une pente commune des courbes pour tous les agents ; ceux-ci diffèrent par leur niveau de capacité. C’est un point de comparaison plus solide que la régression séparée pour chaque système, employée à l’origine.
La première proposition remplace ce pas constant par une courbe apprise et monotone de type spline : des segments raccordés en douceur, qui peuvent croître plus ou moins vite. Un temps plus long n’abaisse toujours pas la difficulté prédite, mais la hausse n’a pas à être régulière.
La seconde proposition, appelée Model 2 dans l’article, fait appel à l’item response theory, IRT. À partir du schéma des succès et des échecs, elle estime conjointement les capacités des agents et la difficulté des tâches. Elle tient compte aussi de la ressemblance entre les tâches d’une même famille et d’une variabilité supplémentaire des résultats des tentatives. Ainsi, de nombreuses répétitions du même couple agent–tâche ne sont pas traitées comme autant d’informations nouvelles et indépendantes sur l’ensemble du benchmark.
La première étape où le modèle de référence et les nouvelles méthodes divergent est la conversion du temps humain en difficulté. Les résultats des agents fournis en entrée restent les mêmes. Le nouvel ajustement peut donc modifier l’horizon sans qu’une seule réponse de l’IA ait changé.
Les mêmes résultats de GPT-4o ont donné un autre horizon
Les auteurs réanalysent les résultats enregistrés de METR Time Horizon 1.1 : 228 tâches et 26 systèmes d’IA. Sur la figure 1, l’horizon de GPT-4o est de 7,2 minutes selon le modèle de référence à pente commune et de 4,4 minutes selon le Model 2. Ce sont deux estimations tirées des mêmes tentatives, pas une dégradation du fonctionnement de GPT-4o ni une comparaison du coût de son inférence.
Une courbe plus souple pourrait tout simplement mieux s’ajuster au bruit. Les auteurs vérifient donc la prédiction des résultats sur des familles entières de tâches non utilisées lors de l’ajustement. Dans une validation en cinq parties, ils répartissent 79 familles, et non les tentatives individuelles d’une même tâche. Les deux nouvelles méthodes obtiennent de meilleures estimations ponctuelles dans les 12 combinaisons de mesure et de mode de pondération des résultats. Cela signifie une erreur plus faible dans la prédiction du succès, pas une hausse du taux de réussite des agents eux-mêmes. §2.4–2.5 et figure 2
L’avantage ne se répartit pas uniformément. L’ajustement s’améliore le plus pour les systèmes de l’époque de GPT-4, dont les horizons traversent la plage plate signalée. Pour les systèmes les plus performants, les courbes comparées se confondent presque. Les estimations pour chaque système pris isolément sont aussi nettement moins concluantes que le résultat d’ensemble. Annexe A
Détails de l’expérience
Données et cadre. Il s’agit d’une réanalyse des résultats publics de METR, pas d’une nouvelle série d’exécutions d’agents. Les tâches portent sur le travail sur des logiciels et leur succès est évalué automatiquement. Le temps humain est en général la moyenne géométrique des temps des exécutions réussies ; une partie des valeurs provient d’estimations d’experts. Le temps d’inférence de l’IA n’est pas une variable de l’horizon mesuré.
Choix du modèle et du checkpoint. Les auteurs n’entraînent pas de nouveaux LLM et ne sélectionnent pas leur meilleur checkpoint. Ils exploitent les résultats enregistrés des évaluations antérieures de METR. GPT-4o est un modèle accessible par API dont le nombre de paramètres n’est pas divulgué. Cette analyse n’établit pas son protocole interne de sélection des poids. Les ajustements statistiques reposent sur la méthode du maximum de vraisemblance ; le Model 2 emploie l’algorithme EM et une approximation numérique des intégrales. Les graphiques de la forme des courbes utilisent l’ensemble des données, tandis que la comparaison de la qualité de prédiction décrite plus haut utilise la répartition par familles.
Mesures. L’ensemble comprend le marginal log score, c’est-à-dire la cross-entropy [Polski] binaire, le Brier score et des mesures d’erreur lissées au voisinage des seuils de 50 % et de 80 %. La cross-entropy pénalise fortement les prédictions à la fois assurées et fausses ; le Brier score mesure le carré de l’écart entre la chance et le résultat succès/échec. Une valeur plus basse est meilleure. Chacune des quatre mesures a été calculée avec trois modes de pondération : tâches égales, familles égales et la variante intermédiaire utilisée par METR. On ne les additionne pas en une amélioration unique en pourcentage.
Coût et incertitude. La nouvelle analyse demande des ajustements statistiques, y compris séparément pour chaque partie de la validation, mais aucun appel supplémentaire aux LLM évalués. L’article ne rapporte pas de gain de temps ou d’argent lié au déploiement de l’estimateur. Les intervalles d’incertitude de la comparaison principale sont calculés par familles de tâches. Un meilleur résultat ponctuel pour chaque mesure ne signifie pas que chaque contraste pris séparément est statistiquement concluant.
Des tâches plus longues exigent de revérifier l’échelle
L’article n’établit pas la cause du segment plat et ne montre pas qu’il apparaîtra dans tout benchmark. Il ne prouve pas non plus que les tâches de METR représentent l’ensemble du travail d’un programmeur. Les auteurs ne contestent pas la tendance exponentielle du progrès qui a été observée ; ils étudient ce que signifient les intervalles sur l’axe du temps de travail humain.
L’application pratique consiste à compléter l’horizon par un graphique des chances de succès pour des plages de tâches fixes. Cela permet de voir si son saut correspond à un net changement de fiabilité. Lorsqu’on ajoute des tâches plus longues à son propre benchmark, il vaut la peine de vérifier, sur des familles mises de côté, que leur durée prédit toujours la difficulté pour l’agent, avant de prolonger la courbe existante.
Sources
- Drew T. Nguyen, William Fithian, On the estimation and validity of AI time horizons—a statistical look at the METR plot, preprint, 2026, v1. arXiv:2610.12466 ; DOI: 10.48550/arXiv.2610.12466. Texte intégral.
- METR, Task-Completion Time Horizons of Frontier AI Models, définition de la mesure, procédure d’évaluation et limites. La page précise que le graphique n’est plus activement mis à jour.