Back to archive
#ai#papers#aigen#llm#information-retrieval#training

Ten sam ranking daje inne decyzje po zmianie kolejności

Pięć wariantów scorera Qwen3-4B różniło się na 18 kolekcjach rerankingowych najwyżej o 0,010 punktu nDCG@10. Po przetasowaniu tych samych kandydatów średnie pokrycie zbiorów przepuszczonych przez próg wynosiło jednak od 0,656 do 0,835. Metryka rankingu prawie nie rozróżniała modeli, chociaż ich decyzje różniły się o 17,9 punktu procentowego.

Scorer ocenia te same dokumenty inaczej po zmianie ich miejsca w prompcie

Scorer ma przypisać każdemu dokumentowi liczbę określającą przydatność dla zapytania. Dostaje zapytanie i kandydatów zwróconych przez wyszukiwarkę, ale podczas inferencji nie zna prawdziwych ocen dokumentów. Score jest później porównywany z progiem, przekazywany do osobnego modelu reader albo używany w potoku tworzącym parę chosen–rejected do treningu modelu preferencji.

Badany wariant batched pointwise scoring umieszcza kilka dokumentów w jednym prompcie i odczytuje osobny score dla każdego z nich. W głównym ustawieniu 100 kandydatów dzielono na pięć okien po 20 dokumentów. W publicznych kolekcjach listę kandydatów zwracało BM25; dwa własnościowe zbiory prawne miały gotowe listy po 100 dokumentów. Jedno wywołanie modelu zwracało 20 ocen, dzięki czemu wspólna instrukcja i zapytanie nie musiały być przetwarzane 20 razy.

Wspólny prompt oszczędza obliczenia, ale score dokumentu zależy wtedy od jego treści, miejsca w oknie i pozostałych dokumentów. To odmiana wrażliwości modelu na pozycję informacji w długim kontekście. Tutaj błąd przechodzi do kolejnego komponentu: jakość całego rankingu prawie się nie zmienia, a końcowa decyzja już tak.

Próg ujawnia błąd, którego nDCG@10 nie mierzy

Poniższe sześć dokumentów to przykład dydaktyczny, a nie dane z badania. Dokumenty C i D mają tę samą prawdziwą ocenę relewancji. Scorer dostaje dwa razy te same obiekty; zmienia się tylko kolejność w prompcie. Próg jest stały i wynosi 0,50.

DokumentPrawdziwa ocenaScore w kolejności 1Score w kolejności 2Decyzja 1Decyzja 2
A30,830,81zachowajzachowaj
B30,800,78zachowajzachowaj
C20,520,49zachowajodrzuć
D20,480,51odrzućzachowaj
E10,290,30odrzućodrzuć
F00,080,07odrzućodrzuć

Zamiana C i D nie zmienia nDCG, ponieważ oba dokumenty mają taką samą prawdziwą ocenę. Próg zachowuje jednak raz zbiór A, B, C, a raz A, B, D. Część wspólna zawiera A i B, a suma zbiorów A, B, C i D. Współczynnik Jaccarda wynosi więc 2/4 = 0,50.

Każdy element przykładu ma odpowiednik w eksperymencie:

PrzykładElement rzeczywistego potoku
sześć dokumentówkandydaci do oceny; w głównym eksperymencie było ich 100
jedna kolumna scorejedna permutacja kandydatów
próg 0,50osobny, zamrożony cutoff dostrojony do F1 dla danej kolekcji
A, B, C albo A, B, Dretained set przekazywany do następnego komponentu
zamiana C i Dzmiana decyzji niewidoczna dla metryki rankingu

Stabilność mierzono na 10 losowych permutacjach każdego zestawu. Dla puli 100 dokumentów jedna permutacja wymagała pięciu batched forward passes po 20 dokumentów, a cały test stabilności 50 wywołań. Podczas zwykłej inferencji model oceniał pulę tylko w jednej permutacji, czyli wykonywał pięć wywołań.

Order-consistency SFT dodaje karę za zmianę score tego samego kandydata

Zwykłe SFT z jednym porządkiem dopasowuje scorer do ocen teacher modelu tylko dla jednej kolejności. Nie uczy scorera, że dokument C powinien dostać podobny score po przeniesieniu w inne miejsce.

W każdym kroku Order-consistency SFT (OC-SFT) podaje studentowi dwa przetasowania tego samego okna. Metoda oblicza dla każdego dokumentu średnią z jego dwóch scores i dodaje do straty kwadrat odchylenia każdego score od tej średniej. Dla pierwszego widoku zachowuje też standardową stratę względem oceny teacher modelu, więc consistency loss nie zastępuje nadzoru nad relewancją.

W przykładzie score dokumentu C wynosi 0,52 i 0,49, więc średnia to 0,505. Składnik consistency wynosi dla niego 0,00045 i jest sumą dwóch kwadratów odchyleń o 0,015. Ten sam rachunek wykonuje się dla każdego kandydata. Zwykłe SFT widzi jedną kolejność; OC-SFT dodaje karę za rozjazd między dwiema kolejnościami.

Dwie kolejności odpowiadają parametrowi N = 2 podczas treningu. Autorzy użyli adapterów LoRA o randze 16, czyli trenowali niewielkie macierze aktualizacji przy zamrożonych głównych wagach. Dwa widoki wymagają około dwa razy więcej forward passes w kroku treningowym niż jeden. Po treningu model nadal obsługuje jedno zapytanie w jednej kolejności. Alternatywa inference-time, batched self-consistency, powtarza scoring dla wielu permutacji przy każdym zapytaniu.

OC-SFT poprawił stabilność trzech rodzajów decyzji

Główny eksperyment passage reranking obejmował 18 kolekcji, model Qwen3-4B, okna B = 20 i 10 permutacji. Dane treningowe zawierały około 30 tysięcy zapytań i około 3 milionów ocen dokumentów, a autorzy raportowali średnią z trzech seedów. Wariant single-order SFT osiągnął nDCG@10 równe 0,449, współczynnik niestabilności rankingu τ-PSI równy 0,209 i pokrycie retained sets 0,656. OC-SFT osiągnęło odpowiednio 0,459, 0,083 i 0,835. Podstawą wniosku o większej stabilności są τ-PSI i pokrycie retained sets. Autorzy nie przedstawiają różnicy jakości rankingu jako głównej przewagi.

OC-SFT zmniejszyło też częstość zmian decyzji w dwóch innych ustawieniach:

UstawienieSingle-order SFTOC-SFTMierzona decyzja
multi-document QA, 3 zbiory, B = 10nDCG@10 0,951; answer flip 0,177nDCG@10 0,961; answer flip 0,125czy reader zmienił odpowiedź
response ranking, 5 zbiorów, B = 4nDCG@1 0,684; pair flip 0,869nDCG@1 0,701; pair flip 0,661czy zmieniła się para chosen–rejected

τ-PSI to średnia niezgodność rankingów między parami permutacji: 0 oznacza identyczną kolejność wynikową, 0,5 brak korelacji, a 1 odwrócony ranking. Dla 11 gęstych modeli bazowych z rodzin Qwen3, Gemma 4 i Granite 4.1 modele po OC-SFT miały niższe średnie τ-PSI niż po order-averaged distillation. Dwunasty model, sparse Mixture-of-Experts Gemma-4, również uzyskał niższe τ-PSI po OC-SFT.

Dla każdego zadania autorzy dobierali wagę consistency oraz checkpoint na osobnym held-out split wyłącznie według jakości rankingu. Dla rerankingu wybrano wagę 5, dla QA 3, a dla response ranking 1. Są to więc wyniki z checkpointów wybranych przed testem, lecz osobno dla każdego zadania; nie jest to jeden checkpoint ani jedna waga zastosowana bez strojenia do wszystkich trzech ustawień.

Wynik dotyczy scorerów ze wspólnym promptem, a nie każdego rankingu

Uśrednianie kilku permutacji podczas inferencji nadal poprawiało powtarzalność modeli po OC-SFT. Metoda zmniejsza więc wrażliwość na kolejność i przenosi dużą część kosztu z każdego zapytania do treningu, ale nie daje matematycznej niezmienniczości.

Autorzy testowali angielskie dane, stały prompt i answer skeleton, scorery bez chain-of-thought oraz najwyżej 20 kandydatów w jednym oknie. Dwa z 18 zbiorów rerankingowych są własnościowe. Zamrożone progi i modele reader ułatwiają przypisanie zmiany scorerowi, ale consumer trenowany wspólnie ze scorerem mógłby przejąć część tej zmienności. Autorzy nie testowali reasoning-intensive retrieval ani promptów dłuższych niż geometria B = 20.

Jeżeli score prowadzi do progowania, odpowiedzi readera albo wyboru pary treningowej, ewaluacja powinna obejmować przetasowanie kandydatów i stabilność końcowej decyzji. Sam nDCG@10 nie mierzy tego błędu. Gdy wielokrotny scoring przy każdym zapytaniu jest zbyt drogi, consistency penalty podczas treningu może zmniejszyć problem; raport nadal powinien zawierać retained-set overlap, answer flip albo pair flip.

Praca Markusa Frohmanna, Mahdiyara Alaviego, Elizabeth Lingg i Navida Rekabsaza jest preprintem arXiv v1 z dziedzin computation and language, information retrieval oraz machine learning. Została opublikowana po raz pierwszy 27 sierpnia 2026 roku jako Equal Ranking Quality, Different Decisions: Training Order-Consistent LLM Scorers, arXiv:2608.26762, DOI: 10.48550/arXiv.2608.26762.

42 AI

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.