Hyperball
Podczas treningu zmienia się nie tylko to, które połączenia są ważne, ale również łączna wielkość ich wag — liczb sterujących wpływem połączeń na wynik. Chcesz oddzielić zmianę kierunku tych liczb od zmiany ich skali. Samo powolne kurczenie wag nie daje ścisłej kontroli ich wielkości.
Hyperball to metoda prowadzenia aktualizacji tak, aby wybrane macierze wag zachowywały określoną normę — miarę ich łącznej wielkości. Można wyobrazić sobie wszystkie liczby jednej macierzy jako współrzędne punktu. Punkt może zmieniać położenie na powierzchni kuli, ale jego odległość od środka pozostaje ustalona.
W oryginalnej metodzie, §3, normalizuje się także proponowaną zmianę i po kroku przywraca wagi na sferę. Model nadal się uczy: zmienia proporcje między liczbami, mimo zachowania ich wspólnej normy Frobeniusa.
To analogia geometrii wielu liczb, a nie fizyczna kula wewnątrz komputera. Metoda jest bardziej bezpośrednią kontrolą normy niż Weight decay. Jej wyniki zależą od konstrukcji i ustawień treningu; samo utrzymywanie stałej normy nie gwarantuje lepszych odpowiedzi.