Pre-training

Pre-training to etap uczenia, w którym model zdobywa parametry stanowiące punkt wyjścia do dalszego wykorzystania i adaptacji. W modelach językowych często odbywa się na dużym zbiorze tekstów, a sygnał treningowy powstaje z samego tekstu.

Nazwa określa rolę etapu w procesie uczenia. Nie narzuca jednej architektury ani jednej funkcji celu.

Ten sam etap, różne zadania

W pierwotnym GPT model uczy się przewidywania następnego tokena na podstawie wcześniejszych. To Autoregressive Language Modeling. Autorzy opisują ten etap przed adaptacją do zadań z etykietami w Improving Language Understanding by Generative Pre-Training, §3.1–3.2.

Oryginalny BERT korzysta z innego zestawu celów: odtwarza wybrane tokeny po zaburzeniu wejścia oraz rozpoznaje, czy dwa fragmenty następowały po sobie w korpusie. Przy odtwarzaniu tokena może wykorzystywać kontekst po obu stronach. Są to konkretne zadania z papera BERT, §3.1, a nie obowiązkowy zestaw dla każdego modelu.

Własny przykład różnicy: z sekwencji A B C można przygotować zadanie przewidzenia C po A B albo odtworzenia B z A [MASK] C. Oba sygnały pochodzą z dostępnego tekstu, ale wymagają innego przepływu informacji. Brak ręcznie przypisanej etykiety nie oznacza braku celu treningowego.

Co zostaje po treningu

Zapisany model przechowuje wyuczone parametry. Obejmują one m.in. tabelę Token Embedding, która w GPT jest uczona razem z resztą sieci. Kolejny etap, Fine-tuning, rozpoczyna pracę od już wyuczonych parametrów i dostosowuje model do określonego zastosowania.

Samo słowo „pre-trained” nie mówi jeszcze, na jakich danych model trenowano, co optymalizował ani jak dobrze wykona konkretne zadanie. Te informacje trzeba odczytać z opisu danego modelu.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.