nDCG@10

Eine Suchmaschine liefert zehn Ergebnisse. Gute Dokumente können in der Liste enthalten sein, aber wenn das nützlichste erst an zehnter Stelle steht, erreicht der Leser es möglicherweise nicht. Du brauchst eine Bewertung, die sowohl Relevanz als auch Position berücksichtigt.

nDCG@10 misst die Qualität der ersten zehn Positionen einer Rangliste anhand verfügbarer Relevanzbewertungen. Ein nützliches Ergebnis trägt am Anfang der Liste mehr bei als am Ende. Die Summe dieser Beiträge wird durch das Ergebnis der bestmöglichen Reihenfolge für dieselbe Frage geteilt.

Wenn wir ein sehr relevantes Dokument haben, verschlechtert seine Verschiebung von Platz eins auf Platz zehn die Bewertung. Haben zwei Dokumente dieselbe Relevanzbewertung, verändert ihr Vertauschen sie nicht. Im üblichen, korrekt definierten Fall bedeutet 1 eine ideale Reihenfolge. Die scikit-learn-Dokumentation erklärt die Normalisierung und Grenzen von NDCG.

Die Metrik sagt nicht, ob die den Dokumenten zugewiesenen Zahlen für einen konkreten Schwellenwert gut kalibriert sind. Dieselbe Rangliste kann daher zu unterschiedlichen Entscheidungen „behalten/verwerfen“ führen. Diesen Unterschied untersucht der Artikel über die Abhängigkeit der Bewertungen von der Reihenfolge.