Column-permutation parallel analysis

Parallel analysis szacuje, ile komponentów danych niesie więcej struktury, niż należałoby oczekiwać po losowym zaburzeniu. Najpierw porządkuje wartości własne obserwowanej macierzy kowariancji. Następnie tworzy wiele danych referencyjnych i dla każdej pozycji wyznacza próg, na przykład percentyl 0,95.

W column-permutation parallel analysis każdą kolumnę przetasowuje się niezależnie. Dla macierzy aktywacji tokenów kolumna jest jedną ukrytą współrzędną. Permutacja zachowuje jej zestaw wartości, lecz zrywa powiązania z pozostałymi kolumnami.

Rozważmy dydaktyczny wynik z trzema obserwowanymi wartościami własnymi 5, 2 i 0,7. Jeśli progi z permutacji wynoszą 3,4, 2,1 i 0,8, przechodzi tylko pierwszy komponent. W regule leading-run liczenie kończy się na pierwszej wartości, która nie przekracza swojego progu.

Metoda może zależeć od układu współrzędnych, ponieważ obrót reprezentacji zmienia rozkłady pojedynczych kolumn. Referencja z permutacji zmienia się wtedy nawet wtedy, gdy wartości własne obserwowanej macierzy po odjęciu średniej pozostają takie same. Ten mechanizm jest testowany w artykule o function-preserving reparameterization.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.