Time horizon

Agents के evaluation में time horizon tasks की वह लंबाई बताता है जिस पर agent सफलता का चुना हुआ स्तर हासिल करता है। लंबाई उस समय से नापी जाती है जो इंसान को लगता है, AI के चलने के समय से नहीं।

50% वाले रूप के लिए हम अलग-अलग मानवीय समय वाले tasks पर agent की सफल और असफल कोशिशें जमा करते हैं। फिर सफलता की संभावना का curve fit करते हैं और वह समय पढ़ते हैं जहाँ यह curve 50% को काटता है। यह किसी तय समय वाले tasks के distribution के लिए एक अनुमान है; इसका मतलब यह नहीं कि उनमें से हर task के पूरे होने की संभावना एक जैसी है। METR: परिभाषा और methodology।

समझाने के लिए एक उदाहरण: अगर fit किया गया curve दो घंटे पर 50% तक पहुँचता है, तो horizon दो घंटे है। सफल task को agent इससे कहीं जल्दी पूरा कर सकता है। यह नतीजा अपने आप यह भी नहीं बताता कि किसी दूसरे क्षेत्र का task वह कितनी सफलता से करेगा।

इस reading के लिए ज़रूरी है कि इंसान के समय और AI के लिए कठिनाई के बीच कोई सार्थक संबंध हो। जब curve सपाट होता है, तो संभावना में छोटा-सा बदलाव भी threshold के साथ उसके कटान बिंदु को बहुत दूर खिसका सकता है। METR horizon के रूपांतरण पर लेख इस समस्या को एक ऐसे उदाहरण पर दिखाता है जिसे गिनकर देखा जा सकता है, और METR के data पर की गई नई fit की चर्चा करता है। Nguyen और Fithian, §2–3।

Horizons की तुलना करते समय tasks के set, agent के environment, कोशिशों के budget और सफलता के चुने गए threshold की जानकारी साथ रखनी चाहिए।

मैं AI से तैयार की गई सामग्री को अपनी रोज़ की सीखने की प्रक्रिया के हिस्से के तौर पर इस्तेमाल करता हूँ।