Time horizon

Der Time horizon (Zeithorizont) beschreibt in der Evaluation von Agenten die Länge der Aufgaben, bei der ein Agent eine gewählte Erfolgsquote erreicht. Die Länge wird an der Zeit gemessen, die ein Mensch benötigt, nicht an der Laufzeit der KI.

Für die 50-%-Variante sammeln wir gelungene und misslungene Versuche des Agenten bei Aufgaben mit unterschiedlichen menschlichen Bearbeitungszeiten. Wir passen eine Kurve der Erfolgschance an und lesen dann die Zeit ab, bei der sie 50 % schneidet. Das ist eine Vorhersage für die Verteilung der Aufgaben mit einer bestimmten Dauer; es bedeutet nicht, dass jede von ihnen dieselbe Chance hat, gelöst zu werden. METR: Definition und Methodik.

Ein Lehrbeispiel: Erreicht die angepasste Kurve 50 % bei zwei Stunden, dann beträgt der Horizont zwei Stunden. Der Agent kann eine gelungene Aufgabe deutlich schneller erledigen. Das Ergebnis allein sagt auch nicht, mit welcher Erfolgsquote er eine Aufgabe aus einem anderen Gebiet löst.

Das Ablesen setzt einen sinnvollen Zusammenhang zwischen der menschlichen Bearbeitungszeit und der Schwierigkeit für die KI voraus. Ist die Kurve flach, kann eine kleine Änderung der Chance ihren Schnittpunkt mit der Schwelle weit verschieben. Der Artikel über die Umrechnung des METR-Horizonts zeigt dieses Problem an einem nachrechenbaren Beispiel und bespricht eine neue Anpassung an die METR-Daten. Nguyen und Fithian, §2–3.

Beim Vergleich von Horizonten müssen die Angaben zum Aufgabensatz, zur Umgebung des Agenten, zum Budget an Versuchen und zur gewählten Erfolgsschwelle erhalten bleiben.

Ich nutze KI-generierte Inhalte als Teil meines täglichen Lernprozesses.