Hasło słownika · · 2 min czytania
Homoscedastic Uncertainty
Firma kurierska chce przewidywać godzinę doręczenia na podstawie adresu i czasu nadania. Model zapowiada jedną paczkę na 12:00, drugą na 18:00. Nawet dobre prognozy mogą rozmijać się z rzeczywistością, bo dane nie zawierają wszystkich opóźnień. Sama przewidywana godzina nie mówi, jak duży rozrzut takich pomyłek przyjmujemy. Czy potrzebujemy osobnej oceny dla każdej paczki, czy na początek wystarczy jedna dla całego zadania?
Homoscedastic Uncertainty oznacza modelowanie niepewności wynikającej z szumu w danych jako jednakowej dla wszystkich wejść danego zadania. „Jednakowa” dotyczy rozrzutu, a nie przewidywanej godziny ani faktycznego błędu. Takie rozróżnienie opisują Kendall, Gal i Cipolla, §3.1.

Jedna miara dla różnych prognoz
Załóżmy dla przykładu, że błędy mają rozkład przypominający symetryczny dzwon (rozkład normalny, czyli Gaussa): małe odchylenia są częstsze, duże rzadsze. Jego szerokość opisujemy odchyleniem standardowym, czyli miarą rozrzutu, oznaczaną literą σ. Przyjmijmy σ równe dwóm godzinom.
| Paczka | Prognoza | Wspólna miara rozrzutu |
|---|---|---|
| Nadana rano | 12:00 | σ = 2 godziny |
| Nadana po południu | 18:00 | σ = 2 godziny |
To nie obietnica, że każda paczka dotrze w granicach dwóch godzin od prognozy. Model zakłada tę samą szerokość rozkładu błędów przy obu wejściach. Godziny i rozrzut są własnym przykładem, nie pomiarem firmy kurierskiej.
Po co uczyć się tej wielkości?
Gdy model uczy się kilku zadań ze wspólnymi ustawieniami, czyli Multi-task Learning, każde może mieć inny poziom szumu. W metodzie Kendall et al. model uczy się również jednej dodatniej wartości σ dla każdego zadania. W trakcie nauki wartość może się zmieniać, lecz w danej chwili jest wspólna dla wszystkich jego wejść.
Ta wartość steruje Task Weighting: udziałem zadania we wspólnej ocenie błędów, nazywanej stratą. Dla przewidywania liczb przy założeniu dzwonowego rozkładu większe σ zmniejsza współczynnik przy sumie kwadratów błędów. Dodatkowy składnik celu karze nadmierne zwiększanie σ, aby nie dało się po prostu wyciszyć zadania (§3.2, równanie 7). To inna reguła niż GradNorm, który uwzględnia tempo poprawy zadań. Paper badał obrazy; paczki są analogią, nie wynikiem dotyczącym LLM.
Ograniczenie: jeśli doręczenia za miasto są znacznie mniej przewidywalne niż w centrum, jedno σ nie pokaże tej różnicy. Nie jest więc oceną wiarygodności konkretnej paczki. Potrzebny byłby model dopuszczający zależność rozrzutu od wejścia.
Tekst i ilustrację przygotowano z pomocą AI. Przykład paczek jest uproszczeniem edukacyjnym.