Fine-tuning

Fine-tuning to dalsze uczenie modelu, który ma już wyuczone parametry. Zaczyna od istniejącego checkpointu i dostosowuje model do danych, zadania lub oczekiwanego sposobu odpowiadania. Punktem wyjścia często jest Pre-training.

W pierwotnym GPT po uczeniu na tekście następował trening na przykładach z etykietami dla konkretnych zadań. Optymalizowano parametry modelu i dodanej warstwy wyjściowej. Ten podział opisuje Improving Language Understanding by Generative Pre-Training, §3.2.

Co faktycznie się zmienia

W pełnym fine-tuningu aktualizowane są wszystkie parametry modelu objętego treningiem. Można też uczyć tylko wybrane parametry lub niewielkie moduły adaptacji. Przykładowo LoRA pozostawia bazowe wagi zamrożone i uczy macierze opisujące ich zmianę; szczegóły podają Hu et al., §2 i §4.1. Zatem zamrożenie wag bazowych nie wyklucza uczenia — trzeba sprawdzić, czy optymalizowane są inne parametry.

Własny przykład: zbiór zawiera wiadomości klientów oraz poprawne kategorie „zwrot”, „dostawa” i „płatność”. Trening może dostosować istniejący model do tej klasyfikacji. Wklejenie kilku takich przykładów do zwykłego promptu zmienia jego wejście, lecz samo nie aktualizuje parametrów. Rozróżnienie adaptacji w kontekście i fine-tuningu opisują Brown et al., Language Models are Few-Shot Learners, §2.

Supervised fine-tuning używa przykładów pożądanych odpowiedzi lub etykiet. Nazwa „fine-tuning” bez doprecyzowania nie wskazuje jednej funkcji celu ani liczby uczonych parametrów. Istniejące Order-consistency SFT jest szczególnym sposobem uczenia scorera, a nie ogólną definicją tego etapu.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.