Fisher Information

Quieres saber si una bolsa de café pesa más cerca de 100 o de 101 g. La colocas en dos balanzas. Ambas están bien calibradas, pero en una las lecturas apenas varían y en la otra saltan varios gramos. Una lectura de 101 g en la segunda balanza aclara poco: ese valor no sería extraño aunque la bolsa pesara 100 g. ¿Cuántas repeticiones compensarían esa dispersión?

Fisher Information mide cuánto cambian las probabilidades previstas de distintas observaciones cuando modificas un poco el número que buscas, o parámetro. Aquí el parámetro es la masa del café. Si dos valores cercanos de la masa dan casi las mismas predicciones, una lectura apenas ayuda a distinguirlos. En la balanza más estable, las lecturas se agrupan más cerca de la masa real, así que un cambio de un gramo en la masa altera las predicciones de forma más clara.

¿Cuatro pesajes en lugar de uno?

Hagamos una simplificación: los errores son aleatorios, forman una campana simétrica alrededor de cero y no dependen de las lecturas anteriores. Su dispersión se describe con la desviación estándar: 1 g en la balanza más estable y 2 g en la otra. En este modelo, la información sobre la masa que aporta una lectura es 1 dividido por el cuadrado de esa desviación. La balanza estable aporta 1 y la otra ¼, en ambos casos en unidades de 1/g². Las cifras se suman si las lecturas son independientes: cuatro pesajes en la segunda balanza aportan tanta información como uno en la más estable (DasGupta, Classic Theory of Point Estimation, §§6.2.4–6.2.5 y ejemplo 6.13).

Cambia el número de lecturas en la balanza menos estable. ¿Cuándo tiene su media la misma dispersión que una sola lectura en la balanza más estable? La demostración calcula la información y la dispersión de la media: la desviación estándar de una lectura dividida por la raíz cuadrada del número de pesajes.

Si una balanza siempre añade 1 g, la media de muchos pesajes seguirá teniendo un sesgo de 1 g. En este modelo, disponer de más información ayuda a limitar el efecto de la dispersión aleatoria; no detecta una mala calibración.

¿Qué nos dice esto sobre un modelo de lenguaje?

En lugar de la masa, toma un peso del modelo, un número que utiliza en sus cálculos. Una observación podría ser un fragmento de texto elegido. Ahora la pregunta es si modificar un poco ese peso altera claramente las probabilidades de las distintas respuestas. KL Divergence compara los conjuntos completos de probabilidades; Fisher Information describe cuánto crece esa comparación ante un pequeño cambio en el parámetro (Pascanu y Bengio, §2, ecuación 4). Cuando hay muchos pesos, la matriz completa, una tabla de números, también tiene en cuenta los cambios conjuntos. Elastic Weight Consolidation usa solo la diagonal de la tabla: frena más los cambios en los pesos a los que la tarea anterior es más sensible (Kirkpatrick et al., §2).

El texto y la ilustración se prepararon con ayuda de IA. Los pesajes son un ejemplo hipotético.