Verzögerte Beschleunigung
Du vergleichst zwei Trainingsläufe. Im ersten begrenzt du das Wachstum der Gewichte, im zweiten nicht. Anfangs hat der erste ein schlechteres Ergebnis und erscheint deshalb als falsche Wahl. Gegen Ende kehrt sich die Situation um: Er holt den zweiten ein und übertrifft ihn.
Delayed Acceleration bezeichnet im Rahmen der Untersuchung der Kontrolle der Gewichtsgröße einen Vorteil, der erst in einer späteren Trainingsphase sichtbar wird. Gewichte sind die Zahlen, die die Modellberechnungen steuern. Das Ergebnis wird über den Loss bewertet, eine Zahl zur Messung des Modellfehlers; ein niedrigerer Wert bedeutet eine bessere Anpassung an die untersuchte Aufgabe.
Die Autoren der ELR-Studie, §4, verbinden diesen Verlauf mit dem effektiven Lernschritt. Wenn die Gewichte wachsen, kann eine Änderung bestimmter Größe relativ kleiner werden. Weight Decay oder Hyperball kontrollieren diese Skala. Größere relative Änderungen können gleichzeitig den Erwerb eines nützlichen Signals beschleunigen und Schwankungen verstärken, die den Vorteil anfangs verdecken.
Das erklärt einen konkret beobachteten Verlauf und verspricht nicht, dass jede schlechtere Kurve irgendwann besser wird. Zum Vergleich der Methoden müssen ein ausreichend langes Training und dessen Einstellungen berücksichtigt werden. Ein früher Abbruch der Messung kann die Bewertung des Experiments verändern.
Verbindungen
Die Learning Rate allein reicht nicht. Entscheidend ist ELR [Polski]