Test-time Compute
Model ma rozwiązać trudny problem. Możesz poprosić o jedną krótką próbę albo przeznaczyć więcej pracy na propozycje i ich sprawdzanie. Do opisania tego kosztu potrzebujesz budżetu obliczeń po zakończeniu treningu.
Test-time Compute oznacza obliczenia wykonywane podczas rozwiązywania nowych zadań. Obejmuje pracę związaną z uzyskaniem odpowiedzi; w dyskusji o zwiększaniu tego budżetu chodzi np. o dodatkowe kroki rozumowania, wiele prób lub weryfikację.
Przy ośmiu propozycjach rozwiązania płacisz także za ich wytworzenie i wybór. Dłuższy tekst nie jest jedyną formą zwiększania budżetu, a dodatkowe próby nie pomogą, jeśli nie potrafimy rozpoznać dobrej.
Test-time scaling bada wpływ powiększania tego budżetu na wynik. Snell i współautorzy, §3–5, pokazują zależność od zadania i sposobu rozdziału pracy. Nie istnieje uniwersalna obietnica czterokrotnej poprawy. Uczenie wag podczas nowego zadania to odrębne Test-time training.