Hasło słownika · · 2 min czytania
Task Weighting
Model czyta „Paczka nie dotarła, potrzebuję jej na jutro” i uczy się wybierać dział oraz rozpoznawać pilność. Każde zadanie otrzymuje stratę, czyli liczbę oceniającą błąd odpowiedzi: mniej znaczy lepiej. Załóżmy, że strata działu wynosi 0,20, a pilności 20, bo ich oceny zapisano w różnych skalach. Proste dodawanie daje 20,20. Czy większa liczba oznacza, że pilność powinna aż tak przeważać we wspólnej ocenie?
Task Weighting ustala współczynniki, przez które mnożymy straty poszczególnych zadań przed ich połączeniem w cel nauki. Można dobrać je ręcznie albo uczyć według dodatkowej reguły. To element Multi-task Learning, czyli uczenia kilku zadań korzystających ze wspólnej części modelu. Ogólną sumę ważoną opisują Kendall, Gal i Cipolla, §3, równanie 1.

Ta sama zmiana, inna ocena
Pomnóżmy stratę pilności przez 0,01, pozostawiając współczynnik działu równy 1. Wspólny wynik to teraz 0,20 + 0,01 × 20 = 0,40.
Rozważmy proponowaną zmianę ustawień modelu, po której strata działu rośnie do 0,22, a pilności maleje do 19. Czy wspólny cel uzna ją za poprawę?
| Współczynnik pilności | Przed zmianą | Po zmianie | Ocena wspólnego celu |
|---|---|---|---|
1 | 20,20 | 19,22 | Poprawa |
0,01 | 0,40 | 0,41 | Pogorszenie |
0,02 | 0,60 | 0,60 | Bez zmiany |
Zmienił się kompromis: mniejszy błąd pilności nie zawsze równoważy większy błąd działu. Liczby są własnym przykładem, a tabela porównuje jeden proponowany ruch; nie symuluje treningu. Mniejszy wynik po przeskalowaniu nie oznacza lepszych odpowiedzi. Nie należy też wnioskować o sile kroku z samej wielkości straty: liczy się jej wrażliwość na zmiany ustawień, opisywana przez gradient.
Skąd wziąć współczynniki?
W tej wiadomości pilność może być niejednoznaczna, bo dane nie zawsze ujawniają rzeczywisty termin. Jedna z metod szacuje dla każdego zadania wspólny poziom takiej niepewności i wykorzystuje go do ważenia strat. U Kendall et al. §3.1–3.2 to uncertainty weighting. Dodatkowa kara zapobiega trywialnemu „rozwiązaniu” przez wyciszenie zadań. Badano ją na obrazach; nasza wiadomość jest analogią, nie wynikiem tej pracy.
Ograniczenie: dobór współczynników nie gwarantuje poprawy obu zadań. Ich proponowane kierunki zmian mogą nadal się zwalczać; Gradient Surgery koryguje właśnie takie kierunki. Skutek dobranego ważenia sprawdzamy osobno dla każdego zadania na Validation Set, czyli przykładach niewykorzystywanych do uczenia ustawień modelu.
Tekst i ilustrację przygotowano z pomocą AI. Liczby i wiadomość są własnym przykładem edukacyjnym.