Skaleninvarianz
Du verdoppelst alle Zahlen in einem bestimmten Modellteil. Verändert das die Antwort? Manchmal entfernt die folgende Normalisierung die gemeinsame Skala und das Ergebnis bleibt gleich. In anderen Anordnungen verändert diese Skalierung das Verhalten.
Scale Invariance bedeutet Invarianz gegenüber einer bestimmten Skalierung. Es muss angegeben werden, was skaliert wird und was unverändert bleiben soll: die Modellausgabe oder der Wert seines Fehlers. In dieser Notiz fragen wir nach dem Einfluss der Multiplikation der Gewichte mit einer positiven Zahl.
Einfaches Beispiel: Die Listen [1, 2] und [2, 4] ergeben nach Division durch ihre geometrische Länge — die Quadratwurzel der Summe der Quadrate — dieselbe normalisierte Richtung. Normalisierung kann also die Information über die gemeinsame Größe entfernen. Deshalb haben die Richtung der Gewichtsänderungen und ihre Größe unterschiedliche Rollen beim Lernen.
Der gesamte Transformer darf jedoch nicht allein deshalb als invariant gelten, weil er RMSNorm enthält. Andere Berechnungswege und die endgültigen Kandidatenbewertungen können den Einfluss der Skala bewahren. Die Studie zum effektiven Lernschritt, §2 und §5, unterscheidet mathematische Symmetrie von empirischer Ähnlichkeit der Trainingskurven.
Verbindungen
Die Learning Rate allein reicht nicht. Entscheidend ist ELR [Polski]