Hyperball

Beim Training verändert sich nicht nur, welche Verbindungen wichtig sind, sondern auch die Gesamtgröße ihrer Gewichte — Zahlen, die den Einfluss der Verbindungen auf das Ergebnis steuern. Du möchtest die Änderung der Richtung dieser Zahlen von ihrer Skalenänderung trennen. Ein bloßes langsames Schrumpfen der Gewichte erlaubt keine strenge Kontrolle ihrer Größe.

Hyperball ist eine Methode, Aktualisierungen so auszuführen, dass ausgewählte Gewichtsmatrizen eine festgelegte Norm behalten — ein Maß ihrer Gesamtgröße. Du kannst dir alle Zahlen einer Matrix als Koordinaten eines Punktes vorstellen. Der Punkt kann seine Lage auf einer Kugeloberfläche ändern, aber sein Abstand zum Mittelpunkt bleibt festgelegt.

In der ursprünglichen Methode, §3, wird auch die vorgeschlagene Änderung normalisiert und nach dem Schritt werden die Gewichte auf die Sphäre zurückgeführt. Das Modell lernt weiterhin: Es verändert die Verhältnisse zwischen den Zahlen, obwohl ihre gemeinsame Frobeniusnorm erhalten bleibt.

Das ist eine Analogie der Geometrie vieler Zahlen, keine physische Kugel im Computer. Die Methode kontrolliert die Norm direkter als Weight Decay. Ihre Ergebnisse hängen von der Konstruktion und den Trainingseinstellungen ab; allein eine konstante Norm zu bewahren garantiert keine besseren Antworten.

Verbindungen

Die Lernrate allein reicht nicht. Entscheidend ist ELR [Polski]