Continual Learning

एक model ग्राहकों के संदेशों को "ऑर्डर" और "वापसी" विभागों में भेजता है। वह "मेरा पार्सल कहाँ है?" जैसे संदेश को पहचान लेता है। अब कंपनी शिकायतों का विभाग खोलती है। आप model को ख़राब निकले सामान वाले संदेशों पर आगे सिखाते हैं। शिकायतें पहले से बेहतर ढंग से सही जगह पहुँचने लगती हैं, लेकिन डिलीवरी के बारे में कुछ सवाल भी नए विभाग में जाने लगते हैं। सिर्फ़ शिकायतों को जाँचने से तरक़्क़ी का झूठा एहसास होता।

आपको ज़रूरत है कि model को नई चीज़ें सिखाई जाएँ और पहले की क्षमताएँ बनी रहें। यही Continual Learning का लक्ष्य है: एक के बाद एक आते data या tasks पर सीखना, यह ध्यान में रखते हुए कि model पहले क्या सीख चुका है। यह नाम एक समस्या और तरीकों के एक परिवार को बताता है; यह इस बात की गारंटी नहीं है कि model कुछ नहीं भूलेगा। इस ज़रूरत का वर्णन Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §1 में मिलता है।

सिखाने और जाँचने में हम क्या बदलते हैं

मान लीजिए कि पहले की training में इस्तेमाल हुए उदाहरणों का पूरा archive अब उपलब्ध नहीं है। उसे हटाने से पहले हमने एक छोटा नमूना बचा लिया था: 20 संदेश, जिनके सही विभाग हमें मालूम हैं। एक संभव तरीका यह है कि इस नमूने को शिकायतों के नए उदाहरणों में मिला दिया जाए। इससे आगे की training को यह संकेत भी मिलता रहता है कि "मेरा पार्सल कहाँ है?" को अब भी सही ढंग से सँभालना है। पुराने उदाहरणों को दोबारा इस्तेमाल करना उन रणनीतियों में से एक है जिनका वर्णन van de Ven और Tolias, Three scenarios for continual learning, §3.3 में है।

यह भी देखें: Experience Replay — पुराने उदाहरणों का एक छोटा नमूना सँभालकर रखना और उसे नई training में मिलाना।

मूल्यांकन करने वाली टीम पुराने संदेशों का एक अलग test रखती है, जिसे हम training में इस्तेमाल नहीं करते। हर update के बाद हम पुरानी और नई, दोनों श्रेणियों की जाँच करते हैं। नीचे दिए गए आँकड़े एक गढ़ा हुआ उदाहरण हैं, किसी शोध का नतीजा नहीं; हर test में 100 संदेश हैं।

Model का रूप	सही पहचाने गए पुराने संदेश	सही पहचानी गई शिकायतें
नई training से पहले	90/100	0/100 — यह श्रेणी थी ही नहीं
सिर्फ़ शिकायतों पर training के बाद	40/100	92/100
पुराने संदेशों के नमूने के साथ training के बाद	89/100	87/100

आख़िरी रूप पहले की क्षमता को बेहतर बचाए रखता है, हालाँकि शिकायतों को वह दूसरे रूप से कुछ कमज़ोर पहचानता है। तालिका यह दिखाती है कि किन चीज़ों की तुलना करनी है; वह यह वादा नहीं करती कि 20 उदाहरण जोड़ने पर ऐसा ही नतीजा मिलेगा।

शर्तें कठिनाई को बदल देती हैं

हमारे उदाहरण में model अब तक सीखे गए सभी विभागों में से ख़ुद चुनता है। "यह संदेश नई श्रेणी का है" जैसा इशारा test को आसान बना देता। तरीकों की तुलना करते समय यह अहम है कि ऐसे इशारे और tasks के बीच की सीमाएँ उपलब्ध हैं या नहीं (van de Ven और Tolias, §2–2.3)। छोटा नमूना दुर्लभ सवालों को छोड़ सकता है; अच्छा औसत यह साबित नहीं करता कि हर क्षमता बची हुई है।

• Catastrophic Forgetting [Polski] पुरानी क्षमताओं में भारी गिरावट को बताता है; उसका demonstration दिखाता है कि नई training साझा settings को कैसे बदल देती है।
• Fine-tuning [Polski] चुने हुए उदाहरणों पर model की आगे की training है। हर नई training के बाद हम पहले की क्षमताओं को भी जाँचते हैं।
• Knowledge Distillation [Polski] पुराने model से update किए जा रहे model तक संकेत पहुँचा सकता है; यह मूल संदेशों को सँभालकर रखने से अलग रणनीति है (van de Ven और Tolias के पेपर का §3.3)।

पाठ और चित्र AI की मदद से तैयार किए गए हैं; संदेश, नमूने का आकार और तालिका के नतीजे सिखाने के लिए बनाया गया मेरा अपना उदाहरण हैं। चित्र पहले की क्षमताओं को बचाए रखने का लक्ष्य दिखाता है, model की बनावट नहीं।