Puntuación pointwise por lotes

Tienes una pregunta y tres documentos encontrados. Quieres dar a cada uno una puntuación de utilidad, pero tres llamadas separadas al modelo repiten la misma instrucción y pregunta. Se pueden mostrar los tres juntos y pedir tres puntuaciones.

Batched pointwise scoring significa evaluar varios candidatos en una entrada compartida manteniendo un resultado separado para cada uno. «Score» es un número que expresa una evaluación; «batched» indica que se procesa conjuntamente un grupo.

Para los documentos A, B y C, el modelo puede devolver 0,8, 0,6 y 0,2. Esta disposición evita repetir el contexto, pero el documento A se ve junto con B y C. Por tanto, su puntuación puede depender de sus vecinos y del orden en que se muestran los documentos.

El trabajo sobre order-consistency, §2–3, estudia esta dependencia. Un número separado para un documento no implica una evaluación independiente. Si al cambiar el orden A recibe 0,4, un umbral de 0,5 lo rechazará aunque su contenido no haya cambiado. Esto importa cuando los resultados se usan para filtrar, no solo para ordenar el ranking.