Un orizzonte METR più lungo non significa compiti proporzionalmente più difficili

Un team vuole stabilire se alla prossima versione di un agente si possano affidare compiti di programmazione più lunghi. Confronta quindi i risultati di un benchmark espressi nel tempo di cui una persona ha avuto bisogno per svolgere il lavoro. È facile leggere un risultato del genere come un'indicazione di quanto lavoro si possa già cedere all'agente.

Questa interpretazione richiede però di verificare se un lavoro umano più lungo significhi davvero un compito corrispondentemente più difficile per l'AI. Se in un certo intervallo i compiti hanno una difficoltà simile per l'agente, un piccolo miglioramento del suo tasso di successo può spostare il risultato attraverso un ampio intervallo di minuti.

Per scegliere un agente serve allora un'informazione in più: come è cambiata la probabilità di portare a termine gli stessi compiti. Il solo moltiplicatore del tempo può sopravvalutare la differenza tra le versioni, se stiamo confrontando proprio un tratto del benchmark in cui il tempo distingue poco la difficoltà.

METR chiama questa misura time horizon. Nella variante con soglia al 50% è il tempo di lavoro umano per il quale la curva adattata prevede che metà dei tentativi dell'agente riesca. È una media per i compiti di quella durata, non una garanzia per ciascuno di essi. Qui non misuriamo il tempo di esecuzione dell'AI stessa.

Nel preprint On the estimation and validity of AI time horizons—a statistical look at the METR plot Drew T. Nguyen e William Fithian analizzano proprio la conversione del tempo in difficoltà. Il lavoro, che rientra nella valutazione dell'AI e nella statistica ed è stato pubblicato per la prima volta l'8 ottobre 2026, individua nei dati di METR un tratto quasi piatto tra 2 e 30 minuti di lavoro umano. I compiti di questo intervallo avevano in media una difficoltà simile per gli agenti esaminati.

Una piccola variazione delle probabilità può spostare di molto la soglia

L'esempio che segue è una mia semplificazione didattica, non il risultato dello studio. Abbiamo tre compiti, A, B e C, che a una persona richiedono rispettivamente 3, 10 e 30 minuti. Ciascuno dei due agenti esegue ogni compito 100 volte nello stesso ambiente. Registriamo un successo oppure un fallimento.

Compito	Tempo umano	Successi dell'agente più vecchio	Successi dell'agente più recente
A	3 minuti	50 su 100	52 su 100
B	10 minuti	49 su 100	51 su 100
C	30 minuti	48 su 100	50 su 100

Per chiarezza trattiamo queste frequenze come probabilità note con esattezza e uniamo i punti con curve decrescenti. L'agente più vecchio interseca il 50% a 3 minuti, quello più recente a 30. L'orizzonte cresce di dieci volte, anche se su ogni compito il tasso di successo è aumentato di soli 2 punti percentuali. Su 300 tentativi per agente il numero di successi è passato da 147 a 153.

Tutti e tre i compiti e tutti i fallimenti restano nella misura. Scegliamo soltanto il punto in cui la curva interseca la soglia; non filtriamo né premiamo nulla. Il costo di questo test ipotetico è di 600 tentativi completi dell'agente. In un esperimento reale numerosità simili non permettono di considerare certa una differenza di 2 punti percentuali. Bisogna adattare una curva e stimare l'incertezza.

L'esempio mostra l'operazione di lettura dell'orizzonte su una curva quasi piatta. In uno studio la sua forma va prima determinata a partire da molti compiti e sistemi. Se in un altro intervallo la curva scende molto più in fretta, lo stesso moltiplicatore dell'orizzonte richiede un aumento maggiore delle probabilità di successo. Per questo i passaggi da 3 a 30 minuti e da 30 minuti a 5 ore non sono per definizione porzioni uguali di progresso.

Il tempo umano va adattato alla difficoltà per l'AI

Il punto di partenza è una tabella dei risultati: quale compito ha eseguito un dato agente, quante volte e con quale esito. Conosciamo anche il tempo umano e la famiglia del compito. Non conosciamo un unico numero oggettivo che ne descriva la difficoltà per l'AI.

La baseline degli autori assume che ogni successivo raddoppio del tempo umano aumenti la difficoltà dello stesso passo. Usa una pendenza delle curve comune a tutti gli agenti; questi differiscono per livello di capacità. È un termine di confronto più solido della regressione separata per ogni sistema, applicata in origine.

La prima proposta sostituisce il passo costante con una curva monotona appresa di tipo spline: tratti raccordati in modo liscio, che possono crescere più o meno in fretta. Un tempo più lungo continua a non abbassare la difficoltà prevista, ma la crescita non deve essere uniforme.

La seconda proposta, chiamata nel lavoro Model 2, si basa sulla item response theory, IRT. Dallo schema di successi e fallimenti stima congiuntamente le capacità degli agenti e la difficoltà dei compiti. Tiene conto anche della somiglianza tra compiti appartenenti a una stessa famiglia e di un'ulteriore variabilità dei risultati dei tentativi. Così molte ripetizioni della stessa coppia agente–compito non vengono trattate come altrettante informazioni nuove e indipendenti sull'intero benchmark.

Il primo passo in cui la baseline e i nuovi metodi divergono è la conversione del tempo umano in difficoltà. I risultati degli agenti in ingresso restano gli stessi. Un nuovo adattamento può quindi cambiare l'orizzonte senza che cambi nemmeno una risposta dell'AI.

Gli stessi risultati di GPT-4o hanno dato un orizzonte diverso

Gli autori rianalizzano i risultati registrati di METR Time Horizon 1.1: 228 compiti e 26 sistemi di AI. Nella figura 1 l'orizzonte di GPT-4o è di 7,2 minuti secondo la baseline con pendenza comune e di 4,4 minuti secondo il Model 2. Sono due stime ricavate dagli stessi tentativi, non un peggioramento del funzionamento di GPT-4o né un confronto del costo della sua inferenza.

Una curva più flessibile potrebbe semplicemente adattarsi meglio al rumore. Gli autori verificano quindi la previsione dei risultati su intere famiglie di compiti non utilizzate durante l'adattamento. In una validazione in cinque parti suddividono 79 famiglie, e non i singoli tentativi di uno stesso compito. Entrambi i nuovi metodi hanno stime puntuali migliori in tutte le 12 combinazioni di metrica e di modalità di ponderazione dei risultati. Questo significa un errore minore nella previsione del successo, non un aumento del tasso di successo degli agenti stessi. §2.4–2.5 e figura 2

Il vantaggio non è distribuito in modo uniforme. L'adattamento migliora soprattutto per i sistemi dell'epoca di GPT-4, i cui orizzonti attraversano l'intervallo piatto indicato. Per i sistemi più forti le curve confrontate quasi coincidono. Le stime per i singoli sistemi sono inoltre molto meno conclusive del risultato complessivo. Appendice A

Dettagli dell'esperimento

Dati e impostazione. È una nuova analisi dei risultati pubblici di METR, non una nuova serie di esecuzioni degli agenti. I compiti riguardano il lavoro sul software e hanno una valutazione automatica del successo. Il tempo umano è di norma la media geometrica dei tempi delle esecuzioni riuscite; una parte dei valori proviene da stime di esperti. Il tempo di inferenza dell'AI non è una variabile dell'orizzonte misurato.

Scelta del modello e del checkpoint. Gli autori non addestrano nuovi LLM né ne scelgono il checkpoint migliore. Utilizzano i risultati registrati di precedenti valutazioni di METR. GPT-4o è un modello accessibile via API con un numero di parametri non reso noto. Questa analisi non stabilisce il suo protocollo interno di selezione dei pesi. Gli adattamenti statistici usano il metodo della massima verosimiglianza; il Model 2 applica l'algoritmo EM e l'approssimazione numerica degli integrali. I grafici della forma delle curve usano i dati completi, mentre il confronto della qualità predittiva descritto sopra usa la suddivisione per famiglie.

Metriche. L'insieme comprende il marginal log score, cioè la cross-entropy [Polski] binaria, il Brier score e misure smussate dell'errore in prossimità delle soglie del 50% e dell'80%. La cross-entropy penalizza fortemente le previsioni sicure ma sbagliate; il Brier score misura il quadrato della differenza tra la probabilità e l'esito successo/fallimento. Un valore più basso è migliore. Ciascuna delle quattro metriche è stata calcolata con tre modalità di ponderazione: compiti di pari peso, famiglie di pari peso e la variante intermedia usata da METR. Non le sommiamo in un unico miglioramento percentuale.

Costo e incertezza. La nuova analisi richiede adattamenti statistici, anche separati per le suddivisioni di validazione, ma non ulteriori chiamate agli LLM valutati. Il lavoro non riporta risparmi di tempo o di denaro derivanti dall'adozione dello stimatore. Gli intervalli di incertezza del confronto principale sono calcolati sulle famiglie di compiti. Un risultato puntuale migliore per ogni metrica non significa che ogni singolo contrasto sia statisticamente conclusivo.

I compiti più lunghi richiedono di verificare di nuovo la scala

Il lavoro non stabilisce la causa del tratto piatto e non mostra che esso comparirà in ogni benchmark. Non dimostra nemmeno che i compiti di METR rappresentino l'intero lavoro di un programmatore. Gli autori non mettono in discussione la tendenza esponenziale osservata del progresso; studiano che cosa significhino gli intervalli sull'asse del tempo di lavoro umano.

L'applicazione pratica consiste nell'affiancare all'orizzonte un grafico delle probabilità di successo per intervalli fissi di compiti. Questo permette di vedere se un suo salto corrisponde a un chiaro cambiamento di affidabilità. Quando si aggiungono compiti più lunghi al proprio benchmark conviene verificare, su famiglie tenute da parte, se il loro tempo continui a prevedere la difficoltà per l'agente, prima di prolungare la curva usata finora.

Fonti

• Drew T. Nguyen, William Fithian, On the estimation and validity of AI time horizons—a statistical look at the METR plot, preprint, 2026, v1. arXiv:2610.12466; DOI: 10.48550/arXiv.2610.12466. Testo completo.
• METR, Task-Completion Time Horizons of Frontier AI Models, definizione della misura, procedura di valutazione e limiti. La pagina segnala che il grafico non viene più aggiornato attivamente.

Uso contenuti generati dall'AI come parte del mio processo quotidiano di apprendimento.