लंबे METR horizon का मतलब उसी अनुपात में कठिन tasks नहीं है

एक टीम यह तय करना चाहती है कि agent के अगले version को programming के ज़्यादा लंबे tasks सौंपे जा सकते हैं या नहीं। इसलिए वह benchmark के उन नतीजों की तुलना करती है जो उस समय में बताए गए हैं जो इंसान को वह काम करने में लगा। ऐसे नतीजे को आसानी से इस बात का संकेत मान लिया जाता है कि अब कितना काम agent को दिया जा सकता है।

लेकिन इस व्याख्या के लिए यह जाँचना ज़रूरी है कि इंसान का लंबा काम सचमुच AI के लिए उसी हिसाब से कठिन task है या नहीं। अगर किसी दायरे में tasks agent के लिए लगभग बराबर कठिन हैं, तो उसकी सफलता में मामूली सुधार भी नतीजे को मिनटों के बड़े दायरे के पार खिसका सकता है।

तब agent चुनते समय हमें एक और जानकारी चाहिए: उन्हीं tasks को पूरा करने की संभावना कितनी बदली। अगर हम benchmark के ठीक उस हिस्से की तुलना कर रहे हों जहाँ समय कठिनाई में कम फ़र्क़ करता है, तो समय का multiplier अकेले versions के बीच के अंतर को बढ़ा-चढ़ाकर दिखा सकता है।

METR ऐसे माप को time horizon कहता है। 50% threshold वाले रूप में यह इंसान के काम का वह समय है जिस पर fit किया गया curve अनुमान लगाता है कि agent की आधी कोशिशें सफल होंगी। यह किसी तय समय वाले tasks का औसत है, उनमें से हर एक के लिए गारंटी नहीं। यहाँ हम ख़ुद AI के चलने का समय नहीं नापते।

Preprint On the estimation and validity of AI time horizons—a statistical look at the METR plot में Drew T. Nguyen और William Fithian समय को कठिनाई में बदलने के इसी रूपांतरण का विश्लेषण करते हैं। AI evaluation और statistics के क्षेत्र का यह पेपर पहली बार 8 अक्टूबर 2026 को प्रकाशित हुआ। यह METR के data में इंसान के काम के 2 से 30 मिनट के बीच एक लगभग सपाट हिस्सा दिखाता है। इस दायरे के tasks, जाँचे गए agents के लिए, औसतन लगभग बराबर कठिन थे।

संभावना में छोटा बदलाव threshold को दूर तक खिसका सकता है

नीचे का उदाहरण समझाने के लिए किया गया मेरा अपना सरलीकरण है, किसी शोध का नतीजा नहीं। हमारे पास तीन tasks हैं: A, B और C, जिनमें इंसान को क्रमशः 3, 10 और 30 मिनट लगते हैं। दोनों agents में से हर एक, हर task को एक ही environment में 100 बार करता है। हम सफलता या असफलता दर्ज करते हैं।

Task	इंसान का समय	पुराने agent की सफलताएँ	नए agent की सफलताएँ
A	3 मिनट	100 में से 50	100 में से 52
B	10 मिनट	100 में से 49	100 में से 51
C	30 मिनट	100 में से 48	100 में से 50

बात साफ़ रखने के लिए इन आवृत्तियों को ठीक-ठीक मालूम संभावनाएँ मान लेते हैं और बिंदुओं को घटते हुए curves से जोड़ देते हैं। पुराना agent 50% को 3 मिनट पर काटता है, नया 30 मिनट पर। Horizon दस गुना बढ़ जाता है, जबकि हर task पर सफलता सिर्फ़ 2 percentage points बढ़ी। हर agent की 300 कोशिशों में सफलताओं की संख्या 147 से 153 हुई।

तीनों tasks और सारी असफलताएँ माप में बनी रहती हैं। हम सिर्फ़ वह जगह चुनते हैं जहाँ curve threshold को काटता है; न कुछ छाँटते हैं, न किसी चीज़ को इनाम देते हैं। इस काल्पनिक test की लागत agent की 600 पूरी कोशिशें है। असली प्रयोग में इतनी संख्याओं के आधार पर 2 percentage points के अंतर को पक्का नहीं माना जा सकता। Curve fit करना पड़ता है और अनिश्चितता का अनुमान लगाना पड़ता है।

यह उदाहरण दिखाता है कि लगभग सपाट curve से horizon कैसे पढ़ा जाता है। शोध में उसकी शक्ल पहले बहुत-से tasks और systems से तय करनी पड़ती है। अगर किसी दूसरे दायरे में curve कहीं तेज़ी से गिरता है, तो horizon के उसी multiplier के लिए सफलता की संभावना में ज़्यादा बढ़ोतरी चाहिए। इसीलिए 3 से 30 मिनट तक का और 30 मिनट से 5 घंटे तक का सफ़र परिभाषा से ही तरक़्क़ी के बराबर हिस्से नहीं हैं।

इंसान के समय को AI के लिए कठिनाई से मिलाना पड़ता है

शुरुआती बिंदु नतीजों की तालिका है: किस agent ने कौन-सा task किया, कितनी बार और किस नतीजे के साथ। हमें इंसान का समय और task का परिवार भी मालूम है। हमें ऐसी कोई एक वस्तुनिष्ठ संख्या मालूम नहीं जो AI के लिए उसकी कठिनाई बताए।

लेखकों का baseline मानता है कि इंसान के समय का हर अगला दोगुना होना कठिनाई को एक जैसे क़दम से बढ़ाता है। वह सभी agents के लिए curves का एक साझा slope इस्तेमाल करता है; agents आपस में क्षमता के स्तर में अलग होते हैं। यह हर system के लिए अलग regression से, जो शुरू में इस्तेमाल होता था, ज़्यादा मज़बूत संदर्भ बिंदु है।

पहला प्रस्ताव तय क़दम की जगह data से सीखा गया, monotonic, spline क़िस्म का curve रखता है: आसानी से जुड़े हुए टुकड़े, जो तेज़ या धीमे बढ़ सकते हैं। लंबा समय अब भी अनुमानित कठिनाई को घटाता नहीं, लेकिन बढ़ोतरी का एक समान होना ज़रूरी नहीं।

दूसरा प्रस्ताव, जिसे पेपर में Model 2 कहा गया है, item response theory, IRT का इस्तेमाल करता है। यह सफलताओं और असफलताओं के pattern से agents की क्षमता और tasks की कठिनाई का एक साथ अनुमान लगाता है। यह एक ही परिवार के tasks की समानता और कोशिशों के नतीजों के अतिरिक्त बिखराव को भी ध्यान में रखता है। इससे एक ही agent–task जोड़े की कई दोहराई गई कोशिशों को पूरे benchmark के बारे में उतनी ही नई, स्वतंत्र जानकारियाँ नहीं मान लिया जाता।

पहला क़दम जिसमें baseline और नए तरीके अलग होते हैं, इंसान के समय को कठिनाई में बदलना है। Agents के input नतीजे वही रहते हैं। यानी नई fit, AI का एक भी जवाब बदले बिना, horizon को बदल सकती है।

GPT-4o के उन्हीं नतीजों से अलग horizon निकला

लेखक METR Time Horizon 1.1 के दर्ज नतीजों का दोबारा विश्लेषण करते हैं: 228 tasks और 26 AI systems। चित्र 1 में GPT-4o का horizon साझा slope वाले baseline के हिसाब से 7.2 मिनट है और Model 2 के हिसाब से 4.4 मिनट। ये उन्हीं कोशिशों से निकले दो अनुमान हैं; न यह GPT-4o के काम में गिरावट है, न उसके inference की लागत की तुलना।

ज़्यादा लचीला curve बस noise पर बेहतर fit हो सकता था। इसलिए लेखक tasks के उन पूरे परिवारों पर नतीजों के अनुमान को जाँचते हैं जो fit में इस्तेमाल नहीं हुए। पाँच हिस्सों वाले validation में वे 79 परिवारों को बाँटते हैं, एक ही task की अलग-अलग कोशिशों को नहीं। Measure और नतीजों को weight देने के तरीके के सभी 12 मेलों में दोनों नए तरीकों के point estimates बेहतर हैं। इसका मतलब सफलता के अनुमान में कम ग़लती है, ख़ुद agents की सफलता में बढ़ोतरी नहीं। §2.4–2.5 और चित्र 2

यह बढ़त बराबर नहीं बँटती। Fit सबसे ज़्यादा GPT-4 के दौर के systems के लिए सुधरती है, जिनके horizons बताए गए सपाट दायरे से होकर गुज़रते हैं। सबसे ताक़तवर systems के लिए तुलना किए गए curves लगभग एक-दूसरे पर आ जाते हैं। अलग-अलग systems के अनुमान भी कुल नतीजे के मुकाबले कहीं कम निर्णायक हैं। परिशिष्ट A

प्रयोग का ब्योरा

Data और setting। यह METR के सार्वजनिक नतीजों का दोबारा विश्लेषण है, agents को नए सिरे से चलाने की कोई श्रृंखला नहीं। Tasks software पर काम से जुड़े हैं और उनकी सफलता का मूल्यांकन अपने आप होता है। इंसान का समय आम तौर पर सफल कोशिशों के समयों का geometric mean है; कुछ मान विशेषज्ञों के आकलन से आए हैं। AI के inference का समय नापे जा रहे horizon का variable नहीं है।

Model और checkpoint का चुनाव। लेखक न नए LLM train करते हैं, न उनका सबसे अच्छा checkpoint चुनते हैं। वे METR के पहले के evaluations के दर्ज नतीजे इस्तेमाल करते हैं। GPT-4o एक API model है, जिसके parameters की संख्या सार्वजनिक नहीं की गई। यह विश्लेषण weights चुनने की उसकी भीतरी प्रक्रिया तय नहीं करता। Statistical fits में maximum likelihood का तरीका इस्तेमाल होता है; Model 2 EM algorithm और integrals के numerical approximation का इस्तेमाल करता है। Curves की शक्ल के charts पूरे data पर बने हैं, जबकि ऊपर बताई गई prediction की गुणवत्ता की तुलना परिवारों के हिसाब से किए गए बँटवारे पर टिकी है।

Measures। इस set में marginal log score, यानी binary cross-entropy [Polski], Brier score, और 50% तथा 80% के thresholds के पास की ग़लती के smoothed measures शामिल हैं। Cross-entropy पक्के भरोसे से किए गए ग़लत अनुमानों को भारी सज़ा देता है; Brier score संभावना और सफलता/असफलता वाले नतीजे के अंतर का वर्ग नापता है। कम मान बेहतर है। चारों measures में से हर एक को weight देने के तीन तरीकों पर निकाला गया: बराबर tasks, बराबर परिवार, और METR का इस्तेमाल किया हुआ बीच का रूप। हम इन्हें जोड़कर सुधार का कोई एक प्रतिशत नहीं बनाते।

लागत और अनिश्चितता। नए विश्लेषण के लिए statistical fits चाहिए, validation के हर बँटवारे के लिए अलग से भी, लेकिन जाँचे जा रहे LLMs के अतिरिक्त calls नहीं चाहिए। पेपर यह नहीं बताता कि estimator को अपनाने से समय या पैसे की कितनी बचत होती है। मुख्य तुलना के uncertainty intervals tasks के परिवारों के हिसाब से निकाले गए हैं। हर measure का बेहतर point estimate यह नहीं बताता कि हर अलग contrast सांख्यिकीय रूप से निर्णायक है।

लंबे tasks के लिए scale को दोबारा जाँचना ज़रूरी है

पेपर सपाट हिस्से की वजह तय नहीं करता और यह नहीं दिखाता कि वह हर benchmark में दिखेगा। वह यह भी साबित नहीं करता कि METR के tasks programmer के पूरे काम का प्रतिनिधित्व करते हैं। लेखक तरक़्क़ी के देखे गए exponential trend पर सवाल नहीं उठाते; वे यह जाँचते हैं कि इंसान के काम के समय वाले axis पर फ़ासलों का क्या मतलब है।

व्यावहारिक उपयोग यह है कि horizon के साथ tasks के तय दायरों के लिए सफलता की संभावना का chart भी रखा जाए। इससे दिखता है कि horizon की छलाँग भरोसेमंदी में किसी साफ़ बदलाव से मेल खाती है या नहीं। अपने benchmark में लंबे tasks जोड़ते समय, अब तक के curve को आगे बढ़ाने से पहले, अलग रखे गए परिवारों पर यह जाँच लेना ठीक रहेगा कि उनका समय अब भी agent के लिए कठिनाई का अनुमान देता है या नहीं।

स्रोत

• Drew T. Nguyen, William Fithian, On the estimation and validity of AI time horizons—a statistical look at the METR plot, preprint, 2026, v1। arXiv:2610.12466; DOI: 10.48550/arXiv.2610.12466। पूरा पाठ।
• METR, Task-Completion Time Horizons of Frontier AI Models, माप की परिभाषा, evaluation की प्रक्रिया और सीमाएँ। Page पर लिखा है कि chart अब सक्रिय रूप से update नहीं किया जाता।

मैं AI से तैयार की गई सामग्री को अपनी रोज़ की सीखने की प्रक्रिया के हिस्से के तौर पर इस्तेमाल करता हूँ।