Time horizon

Dans l’évaluation des agents, le time horizon désigne la durée des tâches à laquelle un agent atteint un niveau de réussite choisi. Cette durée se mesure par le temps dont un humain a besoin, et non par le temps de fonctionnement de l’IA.

Pour la variante à 50 %, on rassemble les tentatives réussies et ratées de l’agent sur des tâches aux temps humains variés. On ajuste une courbe des chances de succès, puis on lit le temps auquel elle coupe 50 %. C’est une prédiction pour la distribution des tâches d’une durée donnée ; elle ne signifie pas que chacune d’elles a la même chance d’être menée à bien. METR : définition et méthodologie.

Exemple pédagogique : si la courbe ajustée atteint 50 % à deux heures, l’horizon est de deux heures. L’agent peut mener à bien une tâche réussie beaucoup plus vite. Le résultat ne dit pas non plus, à lui seul, avec quel taux de réussite il accomplira une tâche d’un autre domaine.

Cette lecture suppose une relation sensée entre le temps humain et la difficulté pour l’IA. Lorsque la courbe est plate, une petite variation des chances peut déplacer très loin son intersection avec le seuil. L’article sur la conversion de l’horizon METR illustre ce problème par un exemple chiffré et présente un nouvel ajustement aux données de METR. Nguyen et Fithian, §2–3.

Lorsqu’on compare des horizons, il faut conserver l’information sur le jeu de tâches, l’environnement de l’agent, le budget de tentatives et le seuil de réussite retenu.