Pomiar reprezentacji zmienił 26% decyzji, choć model zachował wyniki
Zespół buduje system RAG. Wyszukiwarka zwraca fragmenty dokumentów, model przetwarza pytanie i kontekst, a dodatkowy scorer zagląda do ukrytych aktywacji. Ma zdecydować, czy znaleziony kontekst zawiera już dowody potrzebne do odpowiedzi, czy trzeba uruchomić kolejne wyszukiwanie.
Scorer nie czyta tekstu bezpośrednio. Traktuje aktywacje tokenów jak punkty o setkach lub tysiącach współrzędnych, wybiera kilka najważniejszych kierunków i sprawdza, czy reprezentacja odpowiedzi leży blisko utworzonej podprzestrzeni. Przekroczenie ustalonego progu zmienia decyzję całego pipeline'u.
Taki pomiar powinien dawać ten sam wynik po czysto algebraicznej zmianie osi, jeśli wraz z nią odpowiednio zmieniono sąsiednie wagi. Model nadal zwraca te same tokeny i prawie identyczne logits, czyli liczby poprzedzające wybór tokenu. Jeżeli zmienia się tylko scorer, mierzy on nie zachowanie modelu, lecz przypadkowy sposób zapisania jego stanu wewnętrznego.
W preprincie Abdullaha Karasana obrót współrzędnych doprowadził medianowo do zmiany 26% decyzji ustalonego scorera. Wynik obejmuje 75 porównań: pięć modeli, trzy dziedziny pytań i po pięć transformacji każdego modelu. We wszystkich 25 parach model–transformacja, na dziesięciu promptach weryfikacyjnych, zachowano greedy output, czyli tokeny o najwyższych logits. Maksymalny błąd teacher-forced log-probability dla wymuszonych tokenów odpowiedzi był mniejszy niż 0,0001, a względny błąd logits również pozostał poniżej 0,0001.
Warstwa nie nadaje swoim współrzędnym trwałego znaczenia
Model próbuje tutaj ocenić, czy kontekst zawiera dowody dla ustalonej odpowiedzi. Dostaje aktywacje tokenów kontekstu i tej odpowiedzi. Nie zna prawdziwej liczby potrzebnych kierunków reprezentacji; musi ją oszacować z danych. Poprzednia metoda może zawieść, bo osobno traktuje kolumny macierzy aktywacji, chociaż znaczenie pojedynczej kolumny nie jest stałą własnością modelu.
Function-preserving reparameterization to zmiana współrzędnych ukrytego wektora połączona z odwrotną zmianą następnej operacji liniowej. Dla obserwatora modelu jest to ten sam program: wejście, logits i wyjście pozostają takie same. Zmienia się zapis pośredni.
Autor stosuje transformacje ortogonalne, czyli obroty i odbicia zachowujące długości oraz kąty. Cztery badane modele z 42at4⁝ RMSNorm dopuszczały transformacje z pełnej klasy ortogonalnej po wchłonięciu parametrów skali przez sąsiednie mapy liniowe. Dla Pythia-1B z LayerNorm transformacja musiała dodatkowo zachować kierunek odpowiadający średniej współrzędnych.
Warunek niezmienniczości nie wskazuje, który układ osi jest „prawdziwy”. Sprawdza tylko, czy statystyka opisywana jako własność modelu pozostaje stała we wszystkich dopuszczalnych zapisach tej samej funkcji.
Permutowanie kolumn buduje próg z pojedynczych osi
Badany scorer używa column-permutation parallel analysis. Wiersz macierzy oznacza token kontekstu, a kolumna jedną ukrytą współrzędną. Metoda centruje i standaryzuje kolumny, oblicza uporządkowane wartości własne macierzy kowariancji, a potem tworzy tło przez niezależne przetasowanie każdej kolumny. Takie przetasowanie zachowuje wartości w kolumnie, lecz usuwa zależności między kolumnami.
W eksperymencie dla każdego kontekstu powstawało 50 takich referencji. Obserwowana wartość własna musiała ściśle przekroczyć jej percentyl 0,95 w referencjach. Liczenie zatrzymywało się przy pierwszym niepowodzeniu, sprawdzano najwyżej 64 komponenty, a pełny scorer wymuszał minimum jednego komponentu.
Problem powstaje w miejscu budowy tła. Po odjęciu średniej obrót zachowuje wartości własne macierzy, ale zmienia rozkład wartości w poszczególnych kolumnach. Obserwowane dane i permutowana referencja nie przechodzą więc tej samej transformacji. Próg może się przesunąć, mimo że geometria punktów i funkcja modelu pozostały bez zmian.
Sześć tokenów pokazuje, skąd bierze się inna liczba komponentów
Poniższy przykład jest przygotowany wyłącznie do wyjaśnienia mechanizmu. Sześć kart odpowiada sześciu tokenom, a trzy liczby na karcie — trzem ukrytym współrzędnym. Te same karty przechodzą przez oba warianty.
| Karta | Wektor aktywacji w pierwszym układzie osi |
|---|---|
t1 | [2,828; 2,000; 0] |
t2 | [-2,828; -2,000; 0] |
t3 | [-1,581; 2,236; 0] |
t4 | [1,581; -2,236; 0] |
t5 | [0; 0; 1,225] |
t6 | [0; 0; -1,225] |
Po podzieleniu przez liczbę kart macierz kowariancji ma wartości własne 4, 2,5 i 0,5. Odpowiadają one wariancji w trzech głównych kierunkach. W tym przykładzie upraszczam losową referencję: zamiast percentyla z 50 permutacji używam teoretycznej macierzy oczekiwanej i porównuję jej uporządkowaną diagonalę. Poziomy referencyjne wynikają wtedy z wariancji kolumn: 3,5, 3,0 i 0,5. Nie są to progi ani wyniki raportowane w pracy.
Pierwszy komponent przechodzi, bo 4 > 3,5. Drugi odpada, bo 2,5 < 3,0, więc leading-run selection zwraca jeden komponent. To jest odpowiednik component count wybranego przez parallel analysis.
Teraz każdą z sześciu kart mnożymy przez tę samą macierz ortogonalną, a następną warstwę przez macierz odwrotną. To odpowiednik function-preserving reparameterization. Długości, kąty, logits i trzy obserwowane wartości własne 4, 2,5, 0,5 pozostają bez zmian.
Wybieramy obrót, który rozdziela wariancję równo pomiędzy trzy nowe kolumny. Oczekiwana referencja z niezależnie permutowanych kolumn ma teraz poziomy około 2,33, 2,33, 2,33. Przechodzą dwa komponenty: 4 > 2,33 oraz 2,5 > 2,33. Pierwsza różnica między wariantami pojawia się zatem nie w modelu ani w obserwowanym spektrum, lecz w referencji zbudowanej przez osobne przetasowanie nowych kolumn.
W rzeczywistym eksperymencie nie ma sześciu tokenów ani trzech współrzędnych. Dla każdego pytania analizowane są konteksty skrócone do 192 tokenów, trzy warstwy na jednej czwartej, połowie i trzech czwartych głębokości oraz do 64 komponentów. Każdy model przechodzi pięć transformacji, a każdy test parallel analysis wymaga 50 permutowanych referencji. Ten koszt jest częścią audytu pomiaru.
Mediana niezgodności liczby komponentów wyniosła 79%
Główna ewaluacja obejmowała Qwen2.5-0.5B, Qwen2.5-1.5B, Qwen3-0.6B, SmolLM2-1.7B i Pythia-1B. FinanceBench dostarczył pytania o raporty finansowe z dowodem z właściwego okresu oraz dopasowanym fragmentem tej samej spółki z innego okresu. W QASPER porównywano akapity naukowego paperu zawierające anotowany dowód z akapitami bez dowodu. HotpotQA zestawiał dokumenty wspierające odpowiedź z distractorami.
Dla każdej z 15 kombinacji model–dziedzina autor przeznaczył 20 par pytań, czyli 40 kontekstów, na wybór progu i osobne 50 par, czyli 100 kontekstów, na ewaluację. Próg maksymalizujący accuracy był ustalany w oryginalnej parametryzacji i nie był ponownie kalibrowany po transformacji. To pozwala sprawdzić stabilność jednej wdrożonej reguły decyzyjnej.
Mediana odsetka kontekstów z inną liczbą komponentów wyniosła 79% w 75 porównaniach model–dziedzina–transformacja. Mediana bezwzględnej zmiany wyniosła dwa komponenty, a mediana niezgodności decyzji po zastosowaniu stałego progu — 26%. Osobne przeliczenie tej samej aktywacji z innym seedem permutacji dało 6% niezgodności liczby komponentów i nie zmieniło żadnej z 1200 decyzji kontrolnych.
Najczystsza kontrola usuwała standaryzację kolumn, pozostawiając tylko centrowanie. Obserwowane spektrum było wtedy niezmienione z definicji, a mimo to liczba komponentów zmieniła się w 1141 z 1200 kontekstów. To bezpośrednio izoluje błąd referencji; nie wystarczy wyjaśnić wyniku innym seedem ani samą standaryzacją.
Autor porównał scorer z dwiema alternatywami zbudowanymi z wielkości zachowywanych przez obrót: cumulative-variance principal-subspace score i ridge-shrinkage score. Ich maksymalne zmiany były rzędu 10^-8. Ridge-shrinkage osiągnął medianę AUROC 0,712, a oryginalny scorer 0,703. AUROC mierzy, jak często scorer ustawia kontekst z dowodem wyżej niż kontekst bez dowodu; 0,5 odpowiada losowemu porządkowi, a wyższa wartość jest lepsza. Praca nie dowodzi przewagi nowego scorera: wszystkie cztery metody mieściły się w paśmie 0,023 mediany AUROC, a żadna nie wygrywała w każdej kombinacji.
Szczegóły eksperymentu
- Pełne identyfikatory checkpointów:
Qwen/Qwen2.5-0.5B,Qwen/Qwen2.5-1.5B,Qwen/Qwen3-0.6B,HuggingFaceTB/SmolLM2-1.7BiEleutherAI/pythia-1b. - Nie ma wyboru best checkpointu ani treningu modeli. Protokół wskazuje pięć gotowych checkpointów; wybierany jest tylko próg scorera na zbiorze kalibracyjnym.
- Główne ustawienie parallel analysis: 50 permutacji, percentyl
0,95, strict leading-run selection, maksymalnie 64 komponenty, trzy warstwy i geometryczna średnia ich score. - Protokół głównej analizy został zamrożony 20 sierpnia 2026. Kontrole seedów i standaryzacji oraz siatka 72 ustawień czułości były analizami post-hoc i są oznaczone osobno.
- W siatce czułości zmieniano liczbę permutacji
50/100/200, percentyl0,90/0,95/0,99, regułę wyboru oraz agregację warstw. Mediana niezgodności component count pozostawała między0,86a0,99w czterech reprezentatywnych kombinacjach. - Kod, protokoły i wyniki pośrednie są w oficjalnym repozytorium autora.
Test niezmienniczości trzeba wykonać przed interpretacją reprezentacji
Praca pokazuje konkretny błąd column-permutation parallel analysis w jednym pipeline'ie oceny wystarczalności kontekstu. Nie pokazuje, że ukrytych reprezentacji nie da się mierzyć ani że każdy probe, czyli test oparty na aktywacjach, zależy od osi. Dwie alternatywy zachowały wynik po transformacji i podobną zdolność rozróżniania kontekstów.
Zakres empiryczny jest wąski: pięć modeli do 1,7 mld parametrów, trzy zadania wyszukiwania dokumentów i pięć transformacji na model. Kontrola losowości ma jeden dodatkowy seed. Twierdzenie o niemożliwości jednoczesnego zachowania rozkładów pojedynczych kolumn, transformowania referencji zgodnie z obrotem i usunięcia kowariancji dotyczy pełnej grupy ortogonalnej; dla LayerNorm praca podaje osobną, węższą konstrukcję. Autor nie ustala też prawdziwego intrinsic dimension, czyli minimalnej liczby kierunków potrzebnych do opisania aktywacji. Testuje tylko, czy ta sama funkcja dostaje ten sam pomiar.
Moja rekomendacja projektowa wynika z tego testu, nie jest wynikiem raportowanym przez autora: przed użyciem statystyki reprezentacji jako progu, wyjaśnienia lub sygnału sterującego należy wykonać zgodną z architekturą function-preserving reparameterization, potwierdzić niezmienione logits i ponownie uruchomić cały scorer bez kalibracji nowego progu. Jeżeli decyzje się zmienią, statystyka nie opisuje jednoznacznie funkcji modelu i nie powinna samodzielnie sterować pipeline'em.
Praca jest preprintem arXiv v1 z dziedziny machine learning (stat.ML i cs.LG), opublikowanym po raz pierwszy 27 sierpnia 2026 roku: Representation Measurements Under Function-Preserving Reparameterizations, arXiv:2608.27020, DOI: 10.48550/arXiv.2608.27020.
Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.