Bola multidimensional

Durante el entrenamiento no solo cambia qué conexiones son importantes, sino también la magnitud total de sus pesos, los números que controlan la influencia de las conexiones sobre el resultado. Quieres separar el cambio de dirección de esos números del cambio de su escala. Reducir lentamente los pesos no da un control estricto de su magnitud.

Hyperball es un método que realiza las actualizaciones de modo que determinadas matrices de pesos conserven una norma fija, una medida de su magnitud total. Podemos imaginar todos los números de una matriz como coordenadas de un punto. El punto puede cambiar de lugar sobre la superficie de una esfera, pero su distancia al centro permanece fijada.

En el método original, §3, también se normaliza el cambio propuesto y, después del paso, se devuelven los pesos a la esfera. El modelo sigue aprendiendo: cambia las proporciones entre los números pese a conservar su norma de Frobenius conjunta.

Es una analogía de la geometría de muchos números, no una esfera física dentro del ordenador. El método controla la norma de forma más directa que Weight decay. Sus resultados dependen del diseño y los ajustes del entrenamiento; mantener una norma constante no garantiza por sí solo mejores respuestas.

Relaciones

La tasa de aprendizaje no basta. Lo que cuenta es ELR [Polski]