Batched Pointwise Scoring

Du hast eine Frage und drei gefundene Dokumente. Du möchtest jedem einen Nützlichkeitswert geben, aber drei getrennte Modellaufrufe wiederholen dieselbe Anweisung und Frage. Du kannst alle drei zusammen zeigen und um drei Bewertungen bitten.

Batched Pointwise Scoring bedeutet, mehrere Kandidaten in einer gemeinsamen Eingabe zu bewerten und dabei für jeden ein eigenes Ergebnis zu behalten. „Score“ ist eine Zahl, die die Bewertung ausdrückt; „batched“ bezeichnet die gemeinsame Verarbeitung einer Gruppe.

Für die Dokumente A, B und C kann das Modell 0,8, 0,6 und 0,2 zurückgeben. Diese Anordnung erspart das Wiederholen des Kontexts, aber Dokument A wird zusammen mit B und C gesehen. Seine Bewertung kann daher von den Nachbarn und der Reihenfolge der Dokumente abhängen.

Die Arbeit über Order-consistency, §2–3, untersucht diese Abhängigkeit. Eine eigene Zahl für ein Dokument bedeutet keine unabhängige Bewertung. Erhält A nach einer Änderung der Reihenfolge 0,4, verwirft es ein Schwellenwert von 0,5 trotz unveränderten Inhalts. Das ist relevant, wenn die Ergebnisse zum Filtern und nicht nur zum Aufstellen einer Rangliste dienen.