Item response theory

Item response theory (IRT) तरीकों का एक परिवार है जो अलग-अलग tasks पर मिले जवाबों से, एक साथ, करने वालों की क्षमता और tasks की कठिनाई का अनुमान लगाता है। AI के evaluation में करने वाला agent होता है, और जवाब किसी पूरी कोशिश की सफलता या असफलता हो सकता है।

मान लीजिए कि दो agents वही तीन tasks हल करते हैं। पहला आम तौर पर A और B कर लेता है, दूसरा C भी। सफलताओं का प्रतिशत अकेले एक ranking दे देता है। IRT इसके अलावा यह अनुमान लगाने की कोशिश करता है कि बाकी tasks के मुकाबले C कितना कठिन है और क्षमता का कितना अंतर जवाबों के इस pattern को समझाता है। यह समझाने के लिए एक उदाहरण है; इतनी छोटी तालिका भरोसेमंद fit के लिए काफ़ी नहीं है।

सरल Rasch model में सफलता की संभावना तब बढ़ती है जब task की कठिनाई के मुकाबले agent की क्षमता ज़्यादा हो। दोनों मात्राएँ छिपी हुई हैं: हम उनका अनुमान नतीजों से लगाते हैं, बजाय इसके कि कठिनाई को सीधे निर्देश की लंबाई या इंसान के समय के बराबर मान लें। IRT के अलग-अलग रूप और parameters तथा मान्यताएँ जोड़ते हैं।

METR horizons के विश्लेषण में लेखक छिपी हुई कठिनाई को, data से सीखे गए एक curve के ज़रिए, इंसान के काम के समय से जोड़ते हैं। वे tasks के परिवारों के effects और दोहराई गई कोशिशों के नतीजों का बिखराव भी जोड़ते हैं। इससे यह जाँचा जा सकता है कि किस दायरे में समय सचमुच AI के लिए कठिन और आसान tasks में फ़र्क़ करता है। Nguyen और Fithian, §2.3 और §3.1।

जवाबों का अच्छा अनुमान यह साबित नहीं करता कि सीखा गया parameter agent की हर तरह की क्षमता को समेट लेता है। व्याख्या करते समय model की मान्यताओं को और उन tasks पर नतीजों को जाँचना ज़रूरी है जो fit में इस्तेमाल नहीं हुए।