Norma de Frobenius

Tienes una tabla de pesos con miles de números y quieres describir su magnitud total con una sola cifra. La suma habitual es engañosa: 3 y −3 se cancelan, aunque ambos valores sean grandes. Necesitas una medida que considere todas las entradas sin esa cancelación.

Frobenius Norm, o norma de Frobenius, es la raíz cuadrada de la suma de los cuadrados de todos los números de una matriz. Una matriz es simplemente una tabla rectangular de números. Los cuadrados hacen que tanto las entradas positivas como las negativas aumenten el resultado.

Para una tabla que contiene 3, 4 y dos ceros, obtenemos √(3² + 4²) = 5. Es la misma forma de calcular que la longitud de un vector, aplicada a todas las casillas de la tabla. La documentación de NumPy presenta esta definición.

Si multiplicamos cada peso por dos, la norma también se duplica. En Hyperball sirve para mantener una magnitud fija de los pesos, y en el estudio del paso efectivo de aprendizaje es un componente del indicador de escala de la actualización. La norma por sí sola no indica lo bueno que es el modelo ni qué pesos concretos son útiles: dos tablas distintas pueden tener una norma idéntica.

Relaciones

La tasa de aprendizaje no basta. Lo que cuenta es ELR [Polski]