Ten sam ranking daje inne decyzje po zmianie kolejności
Pięć wariantów scorera Qwen3-4B różniło się na 18 kolekcjach rerankingowych najwyżej o 0,010 punktu nDCG@10. Po przetasowaniu tych samych kandydatów średnie pokrycie zbiorów przepuszczonych przez próg wynosiło jednak od 0,656 do 0,835. Metryka rankingu prawie nie rozróżniała modeli, chociaż ich decyzje różniły się o 17,9 punktu procentowego.
Scorer ocenia te same dokumenty inaczej po zmianie ich miejsca w prompcie
Scorer ma przypisać każdemu dokumentowi liczbę określającą przydatność dla zapytania. Dostaje zapytanie i kandydatów zwróconych przez wyszukiwarkę, ale podczas inferencji nie zna prawdziwych ocen dokumentów. Score jest później porównywany z progiem, przekazywany do osobnego modelu reader albo używany w potoku tworzącym parę chosen–rejected do treningu modelu preferencji.
Badany wariant batched pointwise scoring umieszcza kilka dokumentów w jednym prompcie i odczytuje osobny score dla każdego z nich. W głównym ustawieniu 100 kandydatów dzielono na pięć okien po 20 dokumentów. W publicznych kolekcjach listę kandydatów zwracało BM25; dwa własnościowe zbiory prawne miały gotowe listy po 100 dokumentów. Jedno wywołanie modelu zwracało 20 ocen, dzięki czemu wspólna instrukcja i zapytanie nie musiały być przetwarzane 20 razy.
Wspólny prompt oszczędza obliczenia, ale score dokumentu zależy wtedy od jego treści, miejsca w oknie i pozostałych dokumentów. To odmiana wrażliwości modelu na pozycję informacji w długim kontekście. Tutaj błąd przechodzi do kolejnego komponentu: jakość całego rankingu prawie się nie zmienia, a końcowa decyzja już tak.
Próg ujawnia błąd, którego nDCG@10 nie mierzy
Poniższe sześć dokumentów to przykład dydaktyczny, a nie dane z badania. Dokumenty C i D mają tę samą prawdziwą ocenę relewancji. Scorer dostaje dwa razy te same obiekty; zmienia się tylko kolejność w prompcie. Próg jest stały i wynosi 0,50.
| Dokument | Prawdziwa ocena | Score w kolejności 1 | Score w kolejności 2 | Decyzja 1 | Decyzja 2 |
|---|---|---|---|---|---|
| A | 3 | 0,83 | 0,81 | zachowaj | zachowaj |
| B | 3 | 0,80 | 0,78 | zachowaj | zachowaj |
| C | 2 | 0,52 | 0,49 | zachowaj | odrzuć |
| D | 2 | 0,48 | 0,51 | odrzuć | zachowaj |
| E | 1 | 0,29 | 0,30 | odrzuć | odrzuć |
| F | 0 | 0,08 | 0,07 | odrzuć | odrzuć |
Zamiana C i D nie zmienia nDCG, ponieważ oba dokumenty mają taką samą prawdziwą ocenę. Próg zachowuje jednak raz zbiór A, B, C, a raz A, B, D. Część wspólna zawiera A i B, a suma zbiorów A, B, C i D. Współczynnik Jaccarda wynosi więc 2/4 = 0,50.
Każdy element przykładu ma odpowiednik w eksperymencie:
| Przykład | Element rzeczywistego potoku |
|---|---|
| sześć dokumentów | kandydaci do oceny; w głównym eksperymencie było ich 100 |
| jedna kolumna score | jedna permutacja kandydatów |
| próg 0,50 | osobny, zamrożony cutoff dostrojony do F1 dla danej kolekcji |
| A, B, C albo A, B, D | retained set przekazywany do następnego komponentu |
| zamiana C i D | zmiana decyzji niewidoczna dla metryki rankingu |
Stabilność mierzono na 10 losowych permutacjach każdego zestawu. Dla puli 100 dokumentów jedna permutacja wymagała pięciu batched forward passes po 20 dokumentów, a cały test stabilności 50 wywołań. Podczas zwykłej inferencji model oceniał pulę tylko w jednej permutacji, czyli wykonywał pięć wywołań.
Order-consistency SFT dodaje karę za zmianę score tego samego kandydata
Zwykłe SFT z jednym porządkiem dopasowuje scorer do ocen teacher modelu tylko dla jednej kolejności. Nie uczy scorera, że dokument C powinien dostać podobny score po przeniesieniu w inne miejsce.
W każdym kroku Order-consistency SFT (OC-SFT) podaje studentowi dwa przetasowania tego samego okna. Metoda oblicza dla każdego dokumentu średnią z jego dwóch scores i dodaje do straty kwadrat odchylenia każdego score od tej średniej. Dla pierwszego widoku zachowuje też standardową stratę względem oceny teacher modelu, więc consistency loss nie zastępuje nadzoru nad relewancją.
W przykładzie score dokumentu C wynosi 0,52 i 0,49, więc średnia to 0,505. Składnik consistency wynosi dla niego 0,00045 i jest sumą dwóch kwadratów odchyleń o 0,015. Ten sam rachunek wykonuje się dla każdego kandydata. Zwykłe SFT widzi jedną kolejność; OC-SFT dodaje karę za rozjazd między dwiema kolejnościami.
Dwie kolejności odpowiadają parametrowi N = 2 podczas treningu. Autorzy użyli adapterów LoRA o randze 16, czyli trenowali niewielkie macierze aktualizacji przy zamrożonych głównych wagach. Dwa widoki wymagają około dwa razy więcej forward passes w kroku treningowym niż jeden. Po treningu model nadal obsługuje jedno zapytanie w jednej kolejności. Alternatywa inference-time, batched self-consistency, powtarza scoring dla wielu permutacji przy każdym zapytaniu.
OC-SFT poprawił stabilność trzech rodzajów decyzji
Główny eksperyment passage reranking obejmował 18 kolekcji, model Qwen3-4B, okna B = 20 i 10 permutacji. Dane treningowe zawierały około 30 tysięcy zapytań i około 3 milionów ocen dokumentów, a autorzy raportowali średnią z trzech seedów. Wariant single-order SFT osiągnął nDCG@10 równe 0,449, współczynnik niestabilności rankingu τ-PSI równy 0,209 i pokrycie retained sets 0,656. OC-SFT osiągnęło odpowiednio 0,459, 0,083 i 0,835. Podstawą wniosku o większej stabilności są τ-PSI i pokrycie retained sets. Autorzy nie przedstawiają różnicy jakości rankingu jako głównej przewagi.
OC-SFT zmniejszyło też częstość zmian decyzji w dwóch innych ustawieniach:
| Ustawienie | Single-order SFT | OC-SFT | Mierzona decyzja |
|---|---|---|---|
| multi-document QA, 3 zbiory, B = 10 | nDCG@10 0,951; answer flip 0,177 | nDCG@10 0,961; answer flip 0,125 | czy reader zmienił odpowiedź |
| response ranking, 5 zbiorów, B = 4 | nDCG@1 0,684; pair flip 0,869 | nDCG@1 0,701; pair flip 0,661 | czy zmieniła się para chosen–rejected |
τ-PSI to średnia niezgodność rankingów między parami permutacji: 0 oznacza identyczną kolejność wynikową, 0,5 brak korelacji, a 1 odwrócony ranking. Dla 11 gęstych modeli bazowych z rodzin Qwen3, Gemma 4 i Granite 4.1 modele po OC-SFT miały niższe średnie τ-PSI niż po order-averaged distillation. Dwunasty model, sparse Mixture-of-Experts Gemma-4, również uzyskał niższe τ-PSI po OC-SFT.
Dla każdego zadania autorzy dobierali wagę consistency oraz checkpoint na osobnym held-out split wyłącznie według jakości rankingu. Dla rerankingu wybrano wagę 5, dla QA 3, a dla response ranking 1. Są to więc wyniki z checkpointów wybranych przed testem, lecz osobno dla każdego zadania; nie jest to jeden checkpoint ani jedna waga zastosowana bez strojenia do wszystkich trzech ustawień.
Wynik dotyczy scorerów ze wspólnym promptem, a nie każdego rankingu
Uśrednianie kilku permutacji podczas inferencji nadal poprawiało powtarzalność modeli po OC-SFT. Metoda zmniejsza więc wrażliwość na kolejność i przenosi dużą część kosztu z każdego zapytania do treningu, ale nie daje matematycznej niezmienniczości.
Autorzy testowali angielskie dane, stały prompt i answer skeleton, scorery bez chain-of-thought oraz najwyżej 20 kandydatów w jednym oknie. Dwa z 18 zbiorów rerankingowych są własnościowe. Zamrożone progi i modele reader ułatwiają przypisanie zmiany scorerowi, ale consumer trenowany wspólnie ze scorerem mógłby przejąć część tej zmienności. Autorzy nie testowali reasoning-intensive retrieval ani promptów dłuższych niż geometria B = 20.
Jeżeli score prowadzi do progowania, odpowiedzi readera albo wyboru pary treningowej, ewaluacja powinna obejmować przetasowanie kandydatów i stabilność końcowej decyzji. Sam nDCG@10 nie mierzy tego błędu. Gdy wielokrotny scoring przy każdym zapytaniu jest zbyt drogi, consistency penalty podczas treningu może zmniejszyć problem; raport nadal powinien zawierać retained-set overlap, answer flip albo pair flip.
Praca Markusa Frohmanna, Mahdiyara Alaviego, Elizabeth Lingg i Navida Rekabsaza jest preprintem arXiv v1 z dziedzin computation and language, information retrieval oraz machine learning. Została opublikowana po raz pierwszy 27 sierpnia 2026 roku jako Equal Ranking Quality, Different Decisions: Training Order-Consistent LLM Scorers, arXiv:2608.26762, DOI: 10.48550/arXiv.2608.26762.
Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.