Item response theory

La item response theory (IRT), o teoría de respuesta al ítem, es una familia de métodos que, a partir de las respuestas a cada tarea, estiman conjuntamente la capacidad de quienes las resuelven y la dificultad de las tareas. En la evaluación de IA quien resuelve es un agente, y la respuesta puede ser el éxito o el fracaso de un intento completo.

Supongamos que dos agentes resuelven las mismas tres tareas. El primero suele poder con A y B; el segundo, también con C. El porcentaje de éxitos por sí solo da una clasificación. La IRT intenta además estimar cuánto más difícil es C respecto a las demás tareas y qué diferencia de capacidad explica el patrón de respuestas. Es un ejemplo didáctico; una tabla tan pequeña no basta para un ajuste fiable.

En el sencillo modelo de Rasch, la probabilidad de éxito aumenta cuando la capacidad del agente es mayor en relación con la dificultad de la tarea. Ambas magnitudes son latentes: las inferimos de los resultados, en lugar de identificar de entrada la dificultad con la longitud de las instrucciones o con el tiempo humano. Las distintas variantes de la IRT añaden más parámetros y supuestos.

En el análisis de los horizontes de METR, los autores vinculan la dificultad latente con el tiempo de trabajo humano mediante una curva aprendida. Añaden efectos de las familias de tareas y la variabilidad de los resultados entre repeticiones. Esto permite comprobar en qué rango el tiempo distingue realmente las tareas difíciles de las fáciles para la IA. Nguyen y Fithian, §2.3 y §3.1.

Predecir bien las respuestas no demuestra que el parámetro aprendido abarque todos los tipos de capacidad del agente. Al interpretarlo hay que comprobar los supuestos del modelo y los resultados en tareas no utilizadas durante el ajuste.

Utilizo contenido generado por IA como parte de mi proceso diario de aprendizaje.