Batched pointwise scoring

Masz pytanie i trzy znalezione dokumenty. Chcesz nadać każdemu ocenę przydatności, ale trzy osobne wywołania modelu powtarzają tę samą instrukcję i pytanie. Można pokazać całą trójkę razem i poprosić o trzy oceny.

Batched pointwise scoring oznacza ocenianie kilku kandydatów we wspólnym wejściu przy zachowaniu osobnego wyniku dla każdego. „Score” jest liczbą wyrażającą ocenę; „batched” mówi o wspólnym przetwarzaniu grupy.

Dla dokumentów A, B i C model może zwrócić 0,8, 0,6 i 0,2. Taki układ oszczędza powtarzanie kontekstu, ale dokument A jest widziany razem z B i C. Jego ocena może więc zależeć od sąsiadów i kolejności pokazania dokumentów.

Praca o order-consistency, §2–3, bada tę zależność. Osobna liczba dla dokumentu nie oznacza niezależnej oceny. Jeśli po zmianie kolejności A dostanie 0,4, próg 0,5 odrzuci go mimo niezmienionej treści. To ważne, gdy wyniki służą do filtrowania, a nie tylko ustawienia rankingu.