Item response theory

Item response theory (IRT), auf Deutsch Item-Response-Theorie, ist eine Familie von Methoden, die aus den Antworten auf einzelne Aufgaben gemeinsam die Fähigkeiten der Bearbeiter und die Schwierigkeit der Aufgaben schätzen. In der KI-Evaluation ist der Bearbeiter ein Agent, und die Antwort kann der Erfolg oder Misserfolg eines vollständigen Versuchs sein.

Angenommen, zwei Agenten lösen dieselben drei Aufgaben. Der erste kommt meist mit A und B zurecht, der zweite auch mit C. Die Erfolgsquote allein ergibt eine Rangfolge. IRT versucht zusätzlich zu schätzen, wie schwer C im Vergleich zu den übrigen Aufgaben ist und welcher Fähigkeitsunterschied das Antwortmuster erklärt. Das ist ein Lehrbeispiel; eine so kleine Tabelle reicht für eine verlässliche Anpassung nicht aus.

Im einfachen Rasch-Modell steigt die Erfolgschance, wenn die Fähigkeiten des Agenten im Verhältnis zur Schwierigkeit der Aufgabe größer sind. Beide Größen sind latent: Wir schließen aus den Ergebnissen auf sie, statt die Schwierigkeit von vornherein mit der Länge der Anweisung oder der menschlichen Bearbeitungszeit gleichzusetzen. Verschiedene IRT-Varianten fügen weitere Parameter und Annahmen hinzu.

In der Analyse der METR-Horizonte verknüpfen die Autoren die latente Schwierigkeit über eine gelernte Kurve mit der menschlichen Arbeitszeit. Sie ergänzen Effekte von Aufgabenfamilien und die Streuung der Ergebnisse zwischen Wiederholungen. So lässt sich prüfen, in welchem Bereich die Zeit tatsächlich zwischen Aufgaben unterscheidet, die für die KI schwer oder leicht sind. Nguyen und Fithian, §2.3 und §3.1.

Eine gute Vorhersage der Antworten beweist nicht, dass der gelernte Parameter alle Arten von Fähigkeiten eines Agenten erfasst. Bei der Interpretation müssen die Modellannahmen und die Ergebnisse bei Aufgaben geprüft werden, die bei der Anpassung nicht verwendet wurden.

Ich nutze KI-generierte Inhalte als Teil meines täglichen Lernprozesses.