pass@k

pass@k mierzy szansę, że wśród k prób wykonania zadania przynajmniej jedna przejdzie sprawdzenie poprawności. Wynik uśrednia się po zadaniach. Większe k oznacza większy budżet prób, dlatego wynik trzeba podawać razem z tą liczbą. pass@1 opisuje skuteczność pojedynczej próby.

Załóżmy, że dla jednego zadania mamy cztery wykonania, a dokładnie jedno jest poprawne. Oszacowanie pass@1 wynosi 1/4. Przy wyborze dwóch spośród czterech wykonań istnieje sześć możliwych par; trzy zawierają sukces. Oszacowanie pass@2 wynosi więc 3/6, czyli 1/2. To przykład dydaktyczny obliczenia z dostępnej puli prób, nie wynik konkretnego modelu.

Więcej prób użytych do oszacowania metryki nie zmienia jej znaczenia. Można oszacować pass@1 z szesnastu uruchomień na zadanie; nie staje się ono przez to pass@16. W badaniu ActObs, dodatek A, z tej samej puli prób obliczano wyniki dla różnych budżetów k.

Metryka zakłada możliwość sprawdzenia, czy wykonanie jest poprawne. Sama nie daje systemowi sposobu wyboru poprawnej odpowiedzi spośród kandydatów. W artykule o ActObs to rozróżnienie jest potrzebne, ponieważ większy model po zmianie treningu zyskał przy wielu próbach, ale stracił przy pojedynczej.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.