Decode

Decode to etap inferencji, w którym model rozwija odpowiedź po przetworzeniu promptu. W zwykłej pętli generowania pojedynczej sekwencji każdy krok przetwarza ostatnio wybrany token i wyznacza rozkład następnego. Zależność od wcześniejszych wyborów wynika z Autoregressive Language Modeling. Shazeer, Fast Transformer Decoding, §2.4 opisuje obliczenia przyrostowe i ich koszt.

Pierwszy token odpowiedzi można wybrać z wyniku Prefill. Jeśli generowanie trwa dalej, ten token staje się wejściem kolejnego przejścia przez model. Jego nowe K i V dołączają do KV Cache, a query korzysta z bieżącej i wcześniejszych pozycji. Sam wybór identyfikatora tokena nie dopisuje jeszcze jego reprezentacji do cache. Widać to w pętli generowania Hugging Face, „Cache storage implementation”.

Token wybrany, ale jeszcze nieprzetworzony

Własny miniaturowy model ma trzy tokeny: A, B, C. Ich wektory to odpowiednio $(1,0)$, $(0,1)$ i $(-1,-1)$. Przyjmujemy $Q=K=V$ równe tym wektorom; attention używa skali $1/\sqrt{2}$. Z wyniku $h=(h_0,h_1)$ tworzymy logity $[h_1,h_0,-h_0-h_1]$, a Greedy Decoding wybiera największy.

Prompt A B daje w przybliżeniu $h=(0{,}330;0{,}670)$, więc pierwszą odpowiedzią jest A. Cache zawiera na razie tylko dwie pozycje promptu. Dopiero następne przejście przetworzy wybrane A.

To kompletnie określony model demonstracyjny, bez uczenia, pozycji, wielu warstw ani tokena końca. Jego powtarzalna odpowiedź nie ma znaczenia językowego. Porównanie z ponownym obliczaniem całego prefiksu sprawdza zgodność wyników, a licznik obejmuje wyłącznie pozycje, dla których liczono K/V.

Cache usuwa powtarzane obliczenia wcześniejszych K/V, ale attention nadal odczytuje kontekst. Przy małych batchach ograniczeniem często staje się transfer wag lub cache; zależy to od modelu, sprzętu i długości sekwencji. Decode w tym znaczeniu nie jest zamianą identyfikatorów tokenów z powrotem na tekst przez tokenizer.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.