Item response theory

La item response theory (IRT) è una famiglia di metodi che, dalle risposte ai singoli compiti, stimano congiuntamente le capacità di chi li esegue e la difficoltà dei compiti. Nella valutazione dell'AI chi esegue è un agente, e la risposta può essere il successo o il fallimento di un tentativo completo.

Supponiamo che due agenti risolvano gli stessi tre compiti. Il primo di solito se la cava con A e B, il secondo anche con C. La sola percentuale di successi fornisce una classifica. La IRT cerca in più di stimare quanto sia difficile C rispetto agli altri compiti e quale differenza di capacità spieghi lo schema delle risposte. È un esempio didattico; una tabella così piccola non basta per un adattamento affidabile.

Nel semplice modello di Rasch la probabilità di successo cresce quando le capacità dell'agente sono maggiori rispetto alla difficoltà del compito. Entrambe le grandezze sono latenti: le inferiamo dai risultati, invece di identificare subito la difficoltà con la lunghezza delle istruzioni o con il tempo umano. Le diverse varianti della IRT aggiungono ulteriori parametri e ipotesi.

Nell'analisi degli orizzonti di METR gli autori collegano la difficoltà latente al tempo di lavoro umano per mezzo di una curva appresa. Aggiungono gli effetti delle famiglie di compiti e la variabilità dei risultati delle ripetizioni. Questo permette di verificare in quale intervallo il tempo distingua davvero i compiti difficili da quelli facili per l'AI. Nguyen e Fithian, §2.3 e §3.1.

Una buona previsione delle risposte non dimostra che il parametro appreso copra tutti i tipi di capacità dell'agente. Nell'interpretazione bisogna verificare le ipotesi del modello e i risultati sui compiti non utilizzati durante l'adattamento.

Uso contenuti generati dall'AI come parte del mio processo quotidiano di apprendimento.