Autoregressive Language Modeling

Autoregressive Language Modeling opisuje prawdopodobieństwo tekstu przez prawdopodobieństwa jego kolejnych tokenów. Każdy krok zależy od wcześniejszego fragmentu sekwencji. Token może być całym słowem, częścią słowa albo inną jednostką przyjętą przez tokenizer.

Dla sekwencji o ustalonej długości zapis wygląda tak:

$$p_\theta(x_1,\ldots,x_T)=\prod_{t=1}^{T}p_\theta(x_t\mid x_{<t})$$

$x_t$ oznacza token na pozycji $t$, $x_{<t}$ wcześniejszy prefiks, a $\theta$ parametry modelu. Pierwszy czynnik nie ma wcześniejszych tokenów tekstu; implementacja może używać znacznika początku. Model z ograniczonym oknem kontekstu korzysta tylko z dostępnej końcówki prefiksu. Taki rozkład i neuronowy model przewidywania następnego słowa opisują Bengio et al., A Neural Probabilistic Language Model, §1.2 i §2.

Uczenie i generowanie

Własny przykład: po tekście „Dziś piję” model przypisuje prawdopodobieństwa możliwym kontynuacjom. Gdy procedura generowania wybierze token odpowiadający „herbatę”, trafia on do prefiksu następnego kroku. Sam rozkład nie rozstrzyga, czy wybrać największe prawdopodobieństwo, czy losować.

Podczas uczenia znana jest poprawna sekwencja. Optymalizator zwiększa logarytmiczne prawdopodobieństwo jej kolejnych tokenów. Pierwotny GPT, §3.1, stosuje ten cel do tokenów tekstu, korzystając z Transformer decoder.

Causal Masking wraz z przesunięciem celów pozwala obliczać przewidywania dla wielu pozycji równolegle bez ujawniania odpowiedzi. Vaswani et al., §3.1, opisują to dla dekodera. Zależność generowanych tokenów od wcześniejszych wyborów pozostaje sekwencyjna.

To sposób modelowania rozkładu, a nie nazwa architektury: występował przed Transformer. W typowym modelu generującym tekst LM head dostarcza logity, z których Softmax wyznacza rozkład następnego tokena.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.