Słownik

Hasło słownika · · 2 min czytania

Homoscedastic Uncertainty

Firma kurierska chce przewidywać godzinę doręczenia na podstawie adresu i czasu nadania. Model zapowiada jedną paczkę na 12:00, drugą na 18:00. Nawet dobre prognozy mogą rozmijać się z rzeczywistością, bo dane nie zawierają wszystkich opóźnień. Sama przewidywana godzina nie mówi, jak duży rozrzut takich pomyłek przyjmujemy. Czy potrzebujemy osobnej oceny dla każdej paczki, czy na początek wystarczy jedna dla całego zadania?

Homoscedastic Uncertainty oznacza modelowanie niepewności wynikającej z szumu w danych jako jednakowej dla wszystkich wejść danego zadania. „Jednakowa” dotyczy rozrzutu, a nie przewidywanej godziny ani faktycznego błędu. Takie rozróżnienie opisują Kendall, Gal i Cipolla, §3.1.

Dwie paczki z tarczami zegarów wskazującymi różne godziny otaczają pasma rozmycia o tej samej szerokości, symbolizujące wspólny poziom niepewności.

Jedna miara dla różnych prognoz

Załóżmy dla przykładu, że błędy mają rozkład przypominający symetryczny dzwon (rozkład normalny, czyli Gaussa): małe odchylenia są częstsze, duże rzadsze. Jego szerokość opisujemy odchyleniem standardowym, czyli miarą rozrzutu, oznaczaną literą σ. Przyjmijmy σ równe dwóm godzinom.

PaczkaPrognozaWspólna miara rozrzutu
Nadana rano12:00σ = 2 godziny
Nadana po południu18:00σ = 2 godziny

To nie obietnica, że każda paczka dotrze w granicach dwóch godzin od prognozy. Model zakłada tę samą szerokość rozkładu błędów przy obu wejściach. Godziny i rozrzut są własnym przykładem, nie pomiarem firmy kurierskiej.

Po co uczyć się tej wielkości?

Gdy model uczy się kilku zadań ze wspólnymi ustawieniami, czyli Multi-task Learning, każde może mieć inny poziom szumu. W metodzie Kendall et al. model uczy się również jednej dodatniej wartości σ dla każdego zadania. W trakcie nauki wartość może się zmieniać, lecz w danej chwili jest wspólna dla wszystkich jego wejść.

Ta wartość steruje Task Weighting: udziałem zadania we wspólnej ocenie błędów, nazywanej stratą. Dla przewidywania liczb przy założeniu dzwonowego rozkładu większe σ zmniejsza współczynnik przy sumie kwadratów błędów. Dodatkowy składnik celu karze nadmierne zwiększanie σ, aby nie dało się po prostu wyciszyć zadania (§3.2, równanie 7). To inna reguła niż GradNorm, który uwzględnia tempo poprawy zadań. Paper badał obrazy; paczki są analogią, nie wynikiem dotyczącym LLM.

Ograniczenie: jeśli doręczenia za miasto są znacznie mniej przewidywalne niż w centrum, jedno σ nie pokaże tej różnicy. Nie jest więc oceną wiarygodności konkretnej paczki. Potrzebny byłby model dopuszczający zależność rozrzutu od wejścia.

Tekst i ilustrację przygotowano z pomocą AI. Przykład paczek jest uproszczeniem edukacyjnym.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.