Meta-learning

Model rozpoznaje odręczne litery, ale pismo kolejnej osoby wygląda inaczej. Masz tylko kilka jej przykładów. Chcesz wykorzystać wcześniejszą naukę tak, żeby dostosowanie do nowego pisma nie wymagało zaczynania długiego treningu od zera.

Meta-learning to uczenie sposobu adaptacji albo punktu startowego ułatwiającego adaptację. Oceniamy nie tylko wyjściową odpowiedź, lecz również wynik po wykorzystaniu informacji z nowego zadania.

W tym dydaktycznym przykładzie proces ma dwa poziomy. Wewnętrzny dostosowuje model do pisma jednej osoby na kilku literach. Zewnętrzny sprawdza wynik na jej pozostałych literach i wykorzystuje wiele takich zadań, żeby wykształcić lepszy sposób adaptacji. Przy nowej osobie stosujemy wyuczony sposób, a skuteczność znów oceniamy na przykładach niewykorzystanych do dostosowania. MAML, §2, jest przykładem dotyczącym startowych parametrów; harness learning, §4, dotyczy adaptacji programu organizującego pracę modelu.

Samo ręczne poprawianie systemu kilka razy nie jest jeszcze meta-learningiem. Trzeba wskazać, co wcześniejsze uczenie wykształciło i czy pomaga na nowych zadaniach. Do oceny potrzebne są przykłady oddzielone od tych użytych podczas adaptacji.

W artykule o harness learning zmienia się kod AI Harness, a model proponujący poprawki był wcześniej uczony z ich wyników. To odróżnia mechanizm adaptacji od zwykłego zapisania nowego skryptu.