Batched pointwise scoring

Batched pointwise scoring przypisuje osobny score każdemu kandydatowi, ale ocenia kilka kandydatów w jednym prompcie. Dla zapytania i trzech dokumentów model widzi więc wspólną instrukcję, zapytanie oraz dokumenty A, B i C, po czym zwraca trzy liczby.

Pointwise scoring w ścisłym znaczeniu uruchomiłby model trzy razy: osobno dla A, B i C. Wariant batched przetwarza wspólny kontekst raz i pozwala dokumentom dostarczać sobie wzajemnego punktu odniesienia. Zmniejsza to koszt, ale score dokumentu A może zależeć od jego miejsca oraz od tego, czy towarzyszą mu B i C.

W artykule o order-consistency SFT ta zależność jest wejściem problemu: przetasowanie tego samego zestawu zmienia scores, a próg może zachować inny zbiór dokumentów.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.