Multi-task Learning

Firma chce kierować wiadomości klientów do właściwego działu i zaznaczać pilne sprawy. „Paczka nie dotarła, potrzebuję jej na jutro” powinna trafić do dostaw z oznaczeniem pilności. Można nauczyć dwa oddzielne modele: jeden wybiera dział, drugi pilność. Każdy jednak osobno uczy się czytać podobne wiadomości. Jeśli oceny pilności pomagają rozpoznać znaczenie „potrzebuję na jutro”, model wybierający dział nie korzysta z tej nauki.

Multi-task Learning (MTL) polega na wspólnym uczeniu kilku zadań tak, aby mogły korzystać z części tego, czego uczą się pozostałe. W prostym wariancie sieci neuronowej, czyli modelu z połączonymi, regulowanymi operacjami, zadania mają wspólną część przetwarzającą wejście i osobne wyjścia. Taką konstrukcję opisuje Rich Caruana, Multitask Learning, §1.3, rys. 1–2.

Dwie oceny zmieniają wspólne czytanie

W naszym przykładzie każda wiadomość ma dwie poprawne odpowiedzi zapisane przez człowieka: dział oraz pilność. Wspólna część modelu zamienia tekst na listę liczb opisujących przydatne cechy wiadomości. Tej samej listy używają dwa osobne zakończenia: jedno wybiera dział, drugie pilność. To uproszczony wariant MTL, nie jedyna możliwa budowa.

Podczas nauki sprawdzamy oba wyniki. Jeśli model wybiera „dostawy”, ale sprawę uznaje za niepilną, błąd drugiego zadania może zmienić również wspólną część. Jej nowy sposób opisywania wiadomości będzie dostępny także zadaniu wyboru działu. Właśnie uczenie wspólnej części na podstawie obu ocen umożliwia przepływ wiedzy (Caruana, §3.2). Samo uruchomienie dwóch niezależnych modeli jednocześnie tego nie daje. „Wspólnie” nie wymaga obliczania obu zadań w tej samej chwili: można przeplatać ich przykłady podczas jednego treningu (Kirkpatrick et al., §1).

Oczekiwanym efektem jest lepsze rozpoznawanie nowych wiadomości dzięki dodatkowym wskazówkom podczas nauki. Poprawa nie jest gwarantowana. Wyobraźmy sobie, że wspólna część zachowuje głównie temat paczki, a gubi termin „na jutro”: wybór działu nadal działa, lecz ocena pilności traci potrzebną informację. Zbyt silne wymuszanie wspólnych cech może zaszkodzić; Caruana omawia to w §7.5. Dlatego obie umiejętności trzeba oceniać osobno na wiadomościach nieużytych do nauki. To ograniczenie pokazuje, dlaczego dwa zadania nie oznaczają automatycznie podwójnej korzyści.

Wspólnie czy po kolei?

• Continual Learning dotyczy nauki na kolejno napływających danych z zachowaniem wcześniejszych umiejętności. W opisanym MTL oba zadania są dostępne w trakcie wspólnej nauki.
• Experience Replay pozwala wracać do zachowanej próbki dawnych przykładów, gdy nie mamy już całego archiwum. To inny warunek dostępu do danych.
• Fine-tuning jest dalszym uczeniem już wyuczonego modelu. Może obejmować kilka zadań; określa etap, a MTL sposób połączenia zadań.

Tekst i ilustrację przygotowano z pomocą AI. Wiadomość i opis cech są własnym przykładem edukacyjnym; nie przedstawiają pomiaru ani dosłownego wnętrza modelu.