Fisher Information

Chcesz ustalić, czy torebka kawy waży bliżej 100 czy 101 g. Kładziesz ją na dwóch wagach. Obie są dobrze skalibrowane, ale na jednej kolejne odczyty prawie się nie ruszają, a na drugiej skaczą o kilka gramów. Odczyt 101 g na tej drugiej wadze niewiele rozstrzyga: przy torebce o masie 100 g taki wynik wcale nie byłby dziwny. Ile powtórzeń pozwoli nadrobić ten rozrzut?

Fisher Information mierzy, jak mocno zmieniają się przewidywane szanse różnych obserwacji, gdy odrobinę zmienisz szukaną liczbę, czyli parametr. Tu parametrem jest masa kawy. Jeśli dwa bliskie założenia o masie dają prawie te same przewidywania, odczyt słabo pomaga je odróżnić. Na stabilniejszej wadze wyniki skupiają się bliżej prawdziwej masy, więc przesunięcie jej o gram daje wyraźniejszą zmianę.

Cztery ważenia zamiast jednego?

Przyjmijmy uproszczenie: błędy są losowe, układają się w symetryczny dzwon wokół zera i nie zależą od poprzednich odczytów. Ich rozrzut opisuje odchylenie standardowe, tutaj 1 g na stabilnej wadze i 2 g na drugiej. W tym modelu informacja o masie w jednym odczycie to 1 podzielone przez kwadrat odchylenia. Stabilna waga daje więc 1, a druga ¼, w obu przypadkach w jednostkach 1/g². Dla niezależnych odczytów te liczby się dodają: cztery ważenia na drugiej wadze dają tyle informacji co jedno na stabilnej (DasGupta, Classic Theory of Point Estimation, §6.2.4–6.2.5 i przykład 6.13).

Zmień liczbę odczytów na mniej stabilnej wadze. Przy ilu średnia z nich ma taki sam rozrzut jak pojedynczy odczyt na stabilnej? Demonstracja liczy informację i rozrzut średniej, czyli odchylenie jednego odczytu podzielone przez pierwiastek z liczby ważeń.

Jeżeli waga stale dodaje 1 g, średnia z wielu ważeń nadal będzie obciążona o 1 g. Większa informacja w przyjętym modelu pomaga ograniczyć wpływ losowego rozrzutu; nie wykrywa złej kalibracji.

Co to mówi o modelu językowym?

Zamiast masy weź jedną wagę modelu, czyli liczbę używaną w jego obliczeniach. Obserwacją może być wybrany kawałek tekstu. Pytasz wtedy, czy lekkie przestawienie tej liczby wyraźnie zmienia szanse poszczególnych odpowiedzi. KL Divergence porównuje całe zestawy tych szans; Fisher Information opisuje, jak szybko to porównanie rośnie przy małej zmianie parametru (Pascanu i Bengio, §2, równanie 4). Przy wielu wagach pełna macierz, czyli tabela liczb, uwzględnia też ich wspólne przesunięcia. Elastic Weight Consolidation używa tylko przekątnej tej tabeli: mocniej hamuje zmiany wag, na które wcześniejsze zadanie jest bardziej wrażliwe (Kirkpatrick i in., §2).

Tekst i ilustrację przygotowano z pomocą AI. Ważenia są przykładem hipotetycznym.