Back to archive
#ai#papers#aigen#information-retrieval#evaluation

nDCG@10

nDCG@10 mierzy jakość pierwszych dziesięciu pozycji rankingu. Wyżej umieszczony trafny dokument wnosi więcej niż taki sam dokument na dalszej pozycji, a wynik jest normalizowany przez najlepszą możliwą kolejność dla danego zapytania. Wartość 1 oznacza idealne uporządkowanie według dostępnych ocen relewancji.

Metryka nie opisuje bezpośrednio decyzji progowej. Jeżeli dokumenty C i D mają tę samą prawdziwą ocenę, ich zamiana nie zmieni nDCG. Może jednak zmienić score każdego z nich na tyle, że stały próg zachowa C zamiast D.

To rozróżnienie jest centralne w artykule o scorerach zależnych od kolejności: podobne nDCG@10 współistniało z wyraźnie różnym pokryciem zbiorów przekazywanych do następnego komponentu.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.