Fisher Information

Du möchtest wissen, ob eine Kaffeetüte eher 100 oder 101 g wiegt. Du legst sie auf zwei Waagen. Beide sind gut kalibriert, doch bei der einen schwanken die Messwerte kaum, bei der anderen springen sie um mehrere Gramm. Zeigt die zweite Waage 101 g an, hilft das wenig: Der Wert wäre auch bei einer 100 g schweren Tüte nicht ungewöhnlich. Wie viele Wiederholungen würden diese Streuung ausgleichen?

Fisher Information misst, wie stark sich die vorhergesagten Chancen verschiedener Beobachtungen ändern, wenn du die gesuchte Zahl, den Parameter, ein wenig veränderst. Hier ist der Parameter die Masse des Kaffees. Führen zwei ähnliche Annahmen über die Masse fast zu denselben Vorhersagen, hilft ein Messwert kaum, sie zu unterscheiden. Auf der stabileren Waage liegen die Werte enger um die wahre Masse. Verändert sich diese um ein Gramm, ändern sich die Vorhersagen deutlicher.

Vier Wägungen statt einer?

Wir vereinfachen: Die Fehler sind zufällig, bilden eine symmetrische Glocke um null und hängen nicht von früheren Messwerten ab. Ihre Streuung beschreibt die Standardabweichung: 1 g bei der stabileren Waage und 2 g bei der anderen. In diesem Modell ist die Information über die Masse in einem Messwert gleich 1 geteilt durch das Quadrat der Abweichung. Die stabilere Waage liefert 1, die andere ¼, jeweils in der Einheit 1/g². Bei unabhängigen Messungen addieren sich die Werte: Vier Wägungen auf der zweiten Waage liefern so viel Information wie eine auf der stabileren (DasGupta, Classic Theory of Point Estimation, §§6.2.4–6.2.5 und Beispiel 6.13).

Ändere die Anzahl der Messungen auf der weniger stabilen Waage. Wann streut ihr Mittelwert genauso stark wie ein einzelner Messwert auf der stabileren Waage? Die Demo berechnet die Information und die Streuung des Mittelwerts: die Standardabweichung eines Messwerts geteilt durch die Quadratwurzel aus der Anzahl der Wägungen.

Zeigt eine Waage immer 1 g zu viel an, bleibt der Mittelwert vieler Wägungen um 1 g verzerrt. Mehr Information in diesem Modell hilft, die Wirkung zufälliger Streuung zu begrenzen; eine schlechte Kalibrierung erkennt sie nicht.

Was sagt das über ein Sprachmodell aus?

Nimm statt der Masse ein Gewicht des Modells, also eine Zahl, die es in seinen Berechnungen verwendet. Eine Beobachtung könnte ein ausgewähltes Textstück sein. Nun fragst du, ob eine kleine Änderung des Gewichts die Chancen der verschiedenen Antworten deutlich verschiebt. KL Divergence vergleicht die vollständigen Sätze dieser Chancen; Fisher Information beschreibt, wie stark dieses Vergleichsmaß bei einer kleinen Änderung des Parameters wächst (Pascanu und Bengio, §2, Gleichung 4). Bei vielen Gewichten berücksichtigt die vollständige Matrix, eine Tabelle mit Zahlen, auch gemeinsame Änderungen. Elastic Weight Consolidation nutzt nur die Diagonale dieser Tabelle: Sie bremst Änderungen an Gewichten stärker, auf die die frühere Aufgabe empfindlicher reagiert (Kirkpatrick et al., §2).

Text und Illustration wurden mit KI-Unterstützung erstellt. Die Wägungen sind ein hypothetisches Beispiel.