Scale invariance

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.

Sieć jest scale-invariant, gdy przeskalowanie wag nie zmienia losu:

$\mathcal{L}(cW) = \mathcal{L}(W) \quad \text{dla wszystkich } c > 0$

Liczy się tylko kierunek wag, nie ich długość. BatchNorm i podobne normalizacje często dają (prawie) taką własność: głośność sygnału i tak zostanie zresetowana.

Dla takich modeli efektywny krok wynika z matematyki. Przy Adamie / signSGD jest to η / ‖W‖, przy zwykłym GD η / ‖W‖².

Transformer nie jest scale-invariant. Residual zostawia skalę na ścieżce identyczności, RMSNorm zdejmuje ją tylko z gałęzi, SwiGLU nie jest jednorodny, embedding i head czują skalę logitów. Mimo to w pracy o ELR krzywe lossu i tak się zapadają po zmatchowaniu η / ‖W‖_F. To empiryczne prawo, nie wniosek z symetrii.

Jeszcze dziwniej: uczące się gaine w RMSNorm psują czystą scale invariance, a jednocześnie poprawiają precyzję zapaści ELR. Czyli to nie jest "bo sieć nie czuje skali".

42at⁝ Learning rate to za mało. Liczy się ELR
42at4⁝ RMSNorm