Time horizon

Nella valutazione degli agenti, il time horizon descrive la lunghezza dei compiti alla quale un agente raggiunge un livello di successo prescelto. La lunghezza si misura con il tempo necessario a una persona, non con il tempo di esecuzione dell'AI.

Per la variante al 50% raccogliamo i tentativi riusciti e falliti dell'agente su compiti con tempi umani diversi. Adattiamo una curva della probabilità di successo e poi leggiamo il tempo in cui essa interseca il 50%. È una previsione per la distribuzione dei compiti di quella durata; non significa che ciascuno di essi abbia la stessa probabilità di essere portato a termine. METR: definizione e metodologia.

Un esempio didattico: se la curva adattata raggiunge il 50% a due ore, l'orizzonte è di due ore. L'agente può portare a termine con successo un compito molto più in fretta. Il risultato, da solo, non dice nemmeno con quale tasso di successo svolgerà un compito di un altro ambito.

La lettura richiede una relazione sensata tra il tempo umano e la difficoltà per l'AI. Quando la curva è piatta, una piccola variazione delle probabilità può spostare di molto la sua intersezione con la soglia. L'articolo sulla conversione dell'orizzonte di METR mostra questo problema con un esempio numerico e discute un nuovo adattamento ai dati di METR. Nguyen e Fithian, §2–3.

Quando si confrontano gli orizzonti bisogna conservare le informazioni sull'insieme di compiti, sull'ambiente dell'agente, sul budget di tentativi e sulla soglia di successo adottata.