Artikel · · 7 Min. Lesezeit
Ein längerer METR-Horizont bedeutet nicht proportional schwierigere Aufgaben
Ein Team möchte klären, ob man der nächsten Version eines Agenten längere Programmieraufgaben anvertrauen kann. Es vergleicht deshalb Benchmark-Ergebnisse, die in der Zeit ausgedrückt sind, die ein Mensch für die Arbeit gebraucht hat. Ein solches Ergebnis wird leicht als Hinweis darauf gelesen, wie viel Arbeit man dem Agenten bereits überlassen kann.
Diese Deutung setzt jedoch voraus, dass man prüft, ob längere menschliche Arbeit tatsächlich eine entsprechend schwierigere Aufgabe für die KI bedeutet. Sind die Aufgaben in einem bestimmten Bereich für den Agenten ähnlich schwierig, kann eine geringe Verbesserung seiner Erfolgsquote das Ergebnis über eine große Spanne von Minuten verschieben.
Bei der Wahl eines Agenten brauchen wir dann eine zusätzliche Information: wie sich die Chance verändert hat, dieselben Aufgaben zu lösen. Der Zeitfaktor allein kann den Unterschied zwischen Versionen überschätzen, wenn wir gerade einen Abschnitt des Benchmarks vergleichen, in dem die Zeit die Schwierigkeit nur schwach unterscheidet.
METR nennt eine solche Messung time horizon. In der Variante mit einer Schwelle von 50 % ist das die menschliche Arbeitszeit, bei der die angepasste Kurve vorhersagt, dass die Hälfte der Versuche des Agenten gelingt. Das ist ein Durchschnitt für Aufgaben mit einer bestimmten Dauer, keine Garantie für jede einzelne. Die Laufzeit der KI selbst wird hier nicht gemessen.
Im Preprint On the estimation and validity of AI time horizons—a statistical look at the METR plot analysieren Drew T. Nguyen und William Fithian genau diese Umrechnung von Zeit in Schwierigkeit. Die Arbeit aus dem Bereich KI-Evaluation und Statistik, erstmals veröffentlicht am 8. Oktober 2026, weist in den METR-Daten einen nahezu flachen Abschnitt zwischen 2 und 30 Minuten menschlicher Arbeit nach. Aufgaben aus diesem Bereich waren für die untersuchten Agenten im Durchschnitt ähnlich schwierig.
Eine kleine Änderung der Chancen kann die Schwelle weit verschieben
Das folgende Beispiel ist eine eigene didaktische Vereinfachung, kein Ergebnis der Studie. Wir haben drei Aufgaben, A, B und C, für die ein Mensch 3, 10 beziehungsweise 30 Minuten braucht. Jeder der beiden Agenten bearbeitet jede Aufgabe 100-mal in derselben Umgebung. Wir notieren Erfolg oder Misserfolg.
| Aufgabe | Zeit des Menschen | Erfolge des älteren Agenten | Erfolge des neueren Agenten |
|---|---|---|---|
| A | 3 Minuten | 50 von 100 | 52 von 100 |
| B | 10 Minuten | 49 von 100 | 51 von 100 |
| C | 30 Minuten | 48 von 100 | 50 von 100 |
Der Übersicht halber behandeln wir diese Häufigkeiten wie exakt bekannte Chancen und verbinden die Punkte mit fallenden Kurven. Der ältere Agent schneidet 50 % bei 3 Minuten, der neuere bei 30. Der Horizont wächst auf das Zehnfache, obwohl die Erfolgsquote bei jeder Aufgabe nur um 2 Prozentpunkte gestiegen ist. Bei 300 Versuchen pro Agent hat sich die Zahl der Erfolge von 147 auf 153 geändert.
Alle drei Aufgaben und alle Misserfolge bleiben in der Messung. Wir wählen nur die Stelle, an der die Kurve die Schwelle schneidet; wir filtern nichts und belohnen nichts. Die Kosten dieses gedachten Tests sind 600 vollständige Agentenversuche. In einem realen Experiment erlauben solche Stichprobengrößen nicht, einen Unterschied von 2 Prozentpunkten als gesichert zu betrachten. Man muss die Kurve anpassen und die Unsicherheit schätzen.
Das Beispiel zeigt, wie der Horizont an einer fast flachen Kurve abgelesen wird. In einer Studie muss ihre Form erst aus vielen Aufgaben und Systemen ermittelt werden. Fällt die Kurve in einem anderen Bereich deutlich schneller, erfordert derselbe Horizontfaktor einen größeren Anstieg der Erfolgschance. Deshalb sind die Schritte von 3 auf 30 Minuten und von 30 Minuten auf 5 Stunden nicht per Definition gleich große Portionen Fortschritt.
Die Zeit des Menschen muss an die Schwierigkeit für die KI angepasst werden
Ausgangspunkt ist eine Ergebnistabelle: welche Aufgabe ein bestimmter Agent bearbeitet hat, wie oft und mit welchem Ausgang. Wir kennen außerdem die Zeit des Menschen und die Familie der Aufgabe. Was wir nicht kennen, ist eine einzelne objektive Zahl, die ihre Schwierigkeit für die KI beschreibt.
Die Baseline der Autoren nimmt an, dass jede weitere Verdopplung der menschlichen Zeit die Schwierigkeit um denselben Schritt erhöht. Sie verwendet eine gemeinsame Steigung der Kurven für alle Agenten; diese unterscheiden sich im Niveau ihrer Fähigkeiten. Das ist ein stärkerer Bezugspunkt als die getrennte Regression für jedes System, die ursprünglich verwendet wurde.
Der erste Vorschlag ersetzt den konstanten Schritt durch eine gelernte, monotone Spline-Kurve: glatt verbundene Abschnitte, die schneller oder langsamer ansteigen können. Eine längere Zeit senkt die vorhergesagte Schwierigkeit weiterhin nicht, aber der Anstieg muss nicht gleichmäßig sein.
Der zweite Vorschlag, in der Arbeit Model 2 genannt, nutzt die item response theory, IRT. Aus dem Muster von Erfolgen und Misserfolgen schätzt er gemeinsam die Fähigkeiten der Agenten und die Schwierigkeit der Aufgaben. Er berücksichtigt auch die Ähnlichkeit von Aufgaben, die zu einer Familie gehören, und eine zusätzliche Streuung der Versuchsergebnisse. Dadurch werden viele Wiederholungen desselben Paars Agent–Aufgabe nicht wie ebenso viele neue, unabhängige Informationen über den gesamten Benchmark behandelt.
Der erste Schritt, in dem sich die Baseline und die neuen Methoden unterscheiden, ist die Umrechnung der menschlichen Zeit in Schwierigkeit. Die eingehenden Ergebnisse der Agenten bleiben dieselben. Eine neue Anpassung kann den Horizont also verändern, ohne dass sich auch nur eine einzige Antwort der KI ändert.
Dieselben GPT-4o-Ergebnisse ergaben einen anderen Horizont
Die Autoren werten die aufgezeichneten Ergebnisse von METR Time Horizon 1.1 erneut aus: 228 Aufgaben und 26 KI-Systeme. In Abbildung 1 beträgt der Horizont von GPT-4o 7,2 Minuten nach der Baseline mit gemeinsamer Steigung und 4,4 Minuten nach Model 2. Das sind zwei Schätzungen aus denselben Versuchen, keine Verschlechterung von GPT-4o und kein Vergleich seiner Inferenzkosten.
Eine flexiblere Kurve könnte sich schlicht besser an das Rauschen anpassen. Die Autoren prüfen deshalb die Vorhersage der Ergebnisse für ganze Aufgabenfamilien, die bei der Anpassung nicht verwendet wurden. In einer fünfteiligen Validierung teilen sie die 79 Familien auf, nicht einzelne Versuche derselben Aufgabe. Beide neuen Methoden haben in allen 12 Kombinationen aus Maß und Gewichtung der Ergebnisse die besseren Punktschätzungen. Das bedeutet einen kleineren Fehler bei der Vorhersage des Erfolgs, keine höhere Erfolgsquote der Agenten selbst. §2.4–2.5 und Abbildung 2
Der Vorsprung verteilt sich nicht gleichmäßig. Am stärksten verbessert sich die Anpassung für Systeme aus der GPT-4-Ära, deren Horizonte durch den genannten flachen Bereich verlaufen. Bei den stärksten Systemen decken sich die verglichenen Kurven nahezu. Die Schätzungen für einzelne Systeme sind zudem deutlich weniger aussagekräftig als das Gesamtergebnis. Anhang A
Details zum Experiment
Daten und Aufbau. Es handelt sich um eine erneute Auswertung öffentlicher METR-Ergebnisse, nicht um eine neue Reihe von Agentenläufen. Die Aufgaben betreffen die Arbeit an Software und werden automatisch auf Erfolg bewertet. Die Zeit des Menschen ist in der Regel das geometrische Mittel der Zeiten erfolgreicher Bearbeitungen; ein Teil der Werte stammt aus Expertenschätzungen. Die Inferenzzeit der KI ist keine Variable des gemessenen Horizonts.
Wahl von Modell und Checkpoint. Die Autoren trainieren keine neuen LLMs und wählen auch nicht deren besten Checkpoint aus. Sie verwenden die aufgezeichneten Ergebnisse früherer METR-Evaluationen. GPT-4o ist ein API-Modell mit nicht offengelegter Parameterzahl. Diese Analyse klärt nicht, nach welchem internen Protokoll seine Gewichte ausgewählt wurden. Die statistischen Anpassungen nutzen die Maximum-Likelihood-Methode; Model 2 verwendet den EM-Algorithmus und die numerische Näherung von Integralen. Die Diagramme zur Form der Kurven nutzen die vollständigen Daten, der oben beschriebene Vergleich der Vorhersagequalität dagegen die Aufteilung nach Familien.
Maße. Der Satz umfasst den marginal log score, also die binäre Kreuzentropie, den Brier score sowie geglättete Fehlermaße in der Nähe der Schwellen von 50 % und 80 %. Die Kreuzentropie bestraft sichere, falsche Vorhersagen stark; der Brier score misst das Quadrat der Differenz zwischen der Chance und dem Ergebnis Erfolg/Misserfolg. Ein niedrigerer Wert ist besser. Jedes der vier Maße wurde mit drei Gewichtungen berechnet: gleiche Aufgaben, gleiche Familien und die von METR verwendete Zwischenvariante. Wir addieren sie nicht zu einer einzigen prozentualen Verbesserung.
Kosten und Unsicherheit. Die neue Analyse erfordert statistische Anpassungen, auch getrennt für die Validierungsaufteilungen, aber keine zusätzlichen Aufrufe der bewerteten LLMs. Die Arbeit berichtet keine Zeit- oder Geldersparnis durch den Einsatz des Schätzers. Die Unsicherheitsintervalle des Hauptvergleichs werden über Aufgabenfamilien berechnet. Ein besseres Punktergebnis bei jedem Maß bedeutet nicht, dass jeder einzelne Kontrast statistisch eindeutig ist.
Längere Aufgaben erfordern eine erneute Prüfung der Skala
Die Arbeit klärt nicht die Ursache des flachen Abschnitts und zeigt nicht, dass er in jedem Benchmark auftritt. Sie beweist auch nicht, dass die METR-Aufgaben die gesamte Arbeit eines Programmierers abbilden. Die Autoren stellen den beobachteten exponentiellen Trend des Fortschritts nicht infrage; sie untersuchen, was die Abstände auf der Achse der menschlichen Arbeitszeit bedeuten.
Die praktische Anwendung besteht darin, den Horizont um ein Diagramm der Erfolgschance für feste Aufgabenbereiche zu ergänzen. So lässt sich erkennen, ob ein Sprung des Horizonts einer deutlichen Änderung der Zuverlässigkeit entspricht. Wer längere Aufgaben in einen eigenen Benchmark aufnimmt, sollte an zurückgehaltenen Familien prüfen, ob ihre Zeit die Schwierigkeit für den Agenten weiterhin vorhersagt, bevor die bisherige Kurve verlängert wird.
Quellen
- Drew T. Nguyen, William Fithian, On the estimation and validity of AI time horizons—a statistical look at the METR plot, Preprint, 2026, v1. arXiv:2610.12466; DOI: 10.48550/arXiv.2610.12466. Volltext.
- METR, Task-Completion Time Horizons of Frontier AI Models, Definition der Messung, Evaluationsverfahren und Einschränkungen. Die Seite weist darauf hin, dass das Diagramm nicht mehr aktiv aktualisiert wird.