Grokking
Grokking
Das Modell beantwortet die Trainingsaufgaben fehlerfrei, irrt sich aber bei neuen Beispielen derselben Art. Es wirkt, als hätte es eine Antworttabelle auswendig gelernt. Das Training geht weiter, und erst deutlich später verbessern sich die Ergebnisse bei neuen Beispielen sprunghaft.
Diese verzögerte Verbesserung der Generalisierung, also der Leistung auf ungesehenen Daten, heißt Grokking. Entscheidend ist der Unterschied zwischen dem schnellen Erfolg auf dem Trainingsdatensatz und dem späteren Erfolg außerhalb davon.
Bei einer einfachen arithmetischen Aufgabe kann das Modell früher die Antworten an bekannte Zahlenpaare anpassen und erst später die Struktur lernen, die neue Paare bewältigen lässt. Power und Mitautoren, §2–3, untersuchen einen solchen Verlauf bei kleinen algorithmischen Aufgaben. Die Entdeckung einer Regel ist eine Intuition zur Interpretation des Ergebnisses, kein Beweis für menschliches „Verständnis“ im Modell.
Um Grokking zu erkennen, brauchen wir deshalb zwei Messungen: das Ergebnis auf den Trainingsdaten und auf separaten Prüfdaten. Die Abnahme des Trainingsfehlers allein genügt nicht. Das Phänomen tritt nicht in jedem Training auf und verspricht nicht, dass sich jedes überangepasste Modell verbessert, wenn wir nur länger warten.