Neural Collapse
Uczysz model rozpoznawać koty, psy i ptaki na zdjęciach. W jego wnętrzu każde zdjęcie otrzymuje listę liczb opisującą cechy. Czy po udanym treningu te opisy pozostają chaotyczne, czy układają się w jakiś wzór?
Neural Collapse to zjawisko zaobserwowane w późnej fazie treningu wielu klasyfikatorów: opisy przykładów tej samej klasy zbliżają się do wspólnego środka, a środki klas tworzą regularny układ. Klasyfikator to model przypisujący wejście do kategorii.
Wyobraź sobie wykres z trzema skupiskami punktów. Początkowo punkty „kot” są rozrzucone. Później skupisko się zwęża, a środki kotów, psów i ptaków układają się coraz bardziej symetrycznie. To ilustracja geometrii, nie rzeczywisty wykres konkretnej sieci. W przestrzeni o większej liczbie wymiarów badacze obserwują również dopasowanie wag końcowej warstwy do tych środków.
Papyan, Han i Donoho, §2, opisują cztery powiązane właściwości tego zjawiska. Słowo „collapse” nie oznacza awarii modelu ani zaniku wszystkich jego umiejętności. Wyniki dotyczą określonych warunków klasyfikacji; nie są gwarancją podobnego zachowania dowolnego modelu językowego ani automatycznej odporności na nowe dane.