Hyperball
Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.
Hyperball to jawna kontrola normy wag: każdą macierz parametrów trzymasz na sferze o zadanym promieniu R (norma Frobeniusa). Nie czekasz, aż weight decay "jakoś" przyhamuje wzrost. Wymuszasz długość wektora wag.
Intuicja: wagi mogą się obracać (zmieniać kierunek, czyli uczyć się), ale nie mogą puchnąć. Promień R jest hiperparametrem.
W pracy o ELR Hyperball i weight decay wyglądają jak dwa różne triki, ale jak dopasujesz sam learning rate tak, by ELR się zgadzał, krzywe lossu wracają do siebie. Czyli Hyperball też działa na loss głównie przez ELR, który produkuje, a nie przez to, że "kula jest magiczna".
Źródło metody: Wen et al., Fantastic pretraining optimizers and where to find them II: Hyperball optimization (2026).