Jak Netflix sprawdza modele oceniające teksty AI

Netflix wykorzystuje LLM do pisania krótkich wyjaśnień rekomendacji: dlaczego dany film lub serial może pasować do wcześniej oglądanego tytułu. W opisanych eksperymentach powstawały setki tysięcy takich tekstów tygodniowo. Kolejny model, nazywany LLM-as-a-Judge, oceniał ich jakość. Ludzie ustalali kryteria i kontrolowali oceniającego. Opis Netflixa.

Ludzie przygotowują reguły i trudne przykłady

Redaktorzy Netflixa tworzą wytyczne wspólne dla ludzi i modeli. Zbiór wzorcowy łączy ręcznie napisane trudne przypadki, przykłady graniczne wygenerowane przez LLM i próbki rzeczywistych opisów. Ludzie oceniają wszystkie; każde odrzucenie musi mieć pisemne uzasadnienie. Budowa zbioru wzorcowego.

Własny przykład pokazuje, po co zbierać uzasadnienia. Wyobraźmy sobie dwa fikcyjne seriale kryminalne: jeden jest pogodną komedią, drugi brutalnym dramatem. Opis „kolejna lekka zagadka na spokojny wieczór” pasuje gramatycznie i odwołuje się do wspólnego gatunku, ale błędnie przedstawia nastrój drugiego serialu. Etykieta „odrzuć” nie mówi jeszcze, czy recenzent zauważył tę pomyłkę, czy po prostu nie lubi sformułowania „spokojny wieczór”. To przykład objaśniający, nie przypadek z danych Netflixa.

Model poprawia reguły oceny na podstawie błędów

Netflix nazywa procedurę RART, czyli Reasoning-Aligned Rubric Tuning. Dostrajany jest tekst reguł, bez zmiany wag modelu. Osobny sędzia dla każdego kryterium zwraca decyzję i uzasadnienie. Meta-sędzia porównuje powody odrzucenia podane przez człowieka i model. Reflektor, kolejny komponent LLM, poprawia reguły na podstawie rozbieżnych decyzji oraz zgodnych odrzuceń z błędnym uzasadnieniem. Kandydatów sprawdza się na wydzielonym zbiorze walidacyjnym. Procedura RART.

W przykładzie z serialami sędzia mógłby prawidłowo odrzucić opis, lecz zalecić wyłącznie skrócenie zdania. Generator napisałby wtedy „lekka zagadka na wieczór”, zachowując najważniejszy błąd. Trafne uzasadnienie powinno wskazać niezgodność tonu rekomendowanego serialu z obietnicą zawartą w tekście. Dlatego przy projektowaniu podobnego procesu warto osobno sprawdzić, czy po wykonaniu zalecenia recenzenta znika wada, którą zauważył człowiek. Samo policzenie zgodnych etykiet tego nie rozstrzygnie.

Odrzucony tekst wraca do generatora

Wyjaśnienie musi przejść wszystkie obowiązkowe kryteria. Uzasadnienie odrzucenia trafia do promptu generatora, który przygotowuje poprawkę. Netflix stosował limit trzech ponownych prób; nadal wadliwy tekst pomijano. Pętla generowania i oceny.

W takim zastosowaniu brak opisu jest wykonalnym zachowaniem produktu: karta nadal może pokazać film, nawet jeśli dodatkowe zdanie nie przeszło kontroli. W innym systemie trzeba zaprojektować własną obsługę odrzucenia. Przykładowo asystent przygotowujący odpowiedź dla klienta może przekazać sprawę pracownikowi. Kopiowanie samej pętli poprawiania bez ustalenia, co stanie się po wyczerpaniu prób, pozostawia użytkownika z nieobsłużonym przypadkiem.

Cotygodniowy audyt obejmuje również odrzucenia

Netflix pobierał około 300 opisów tygodniowo: zaakceptowanych od razu, poprawionych i odrzuconych, z większym udziałem nowych tytułów. Każdy oceniało przynajmniej trzech ludzi. Sędziego porównywano z oceną większości, mierząc wykrywanie wad, przepuszczanie dobrych tekstów i zgodność uzasadnień. Alarm wywołuje wynik poniżej średniej oceniających pomniejszonej o dwa odchylenia standardowe. Nowe reguły wymagają zatwierdzenia przez człowieka; poprzednie zachowuje się do przywrócenia. Monitoring.

Do czasu publikacji badania monitoring nie wykrył pogorszenia jakości ocen wymagającego zmiany reguł modelu. Automatyczne poprawianie reguł po takim alarmie sprawdzono jedynie w testach. Ograniczenia badania.

Kontrola samych opublikowanych tekstów nie pokaże, ile poprawnych propozycji system niepotrzebnie odrzucił. Z kolei zgodność ludzi z modelem może pozostać wysoka, gdy obie strony stosują zbyt ubogą instrukcję. Netflix opisuje właśnie takie przypadki: zgodne z regułami, lecz mało pomocne porównania wymagały zmiany wytycznych, czasem także dodatkowych ograniczeń produktowych. Wnioski z ręcznego przeglądu.

Test z użytkownikami sprawdza przydatność opisów

Według pracy autorów pięciotygodniowy test A/B na dziesiątkach milionów użytkowników aplikacji mobilnej przyniósł względny wzrost udziału oglądania wcześniej nieoglądanych tytułów o 0,2% i sesji zakończonych odtworzeniem o 0,3% (oba p < 0,05). Porównaniem była wersja bez wyjaśnień. To wyniki Netflixa dotyczące całej funkcji; eksperyment nie izoluje wpływu RART. Autorzy nie ujawniają użytych modeli ani pełnych kryteriów. Wyniki i ograniczenia.

W podobnym projekcie warto więc zaplanować dwa odrębne sprawdziany. Pierwszy odpowiada, czy automat stosuje przyjęte reguły. Drugi ustala, czy zaakceptowane teksty pomagają użytkownikowi wykonać konkretną czynność. Można bardzo skutecznie egzekwować standard redakcyjny, który nie ułatwia odbiorcy wyboru.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.