Neural Collapse

Du trainierst ein Modell, Katzen, Hunde und Vögel auf Fotos zu erkennen. In seinem Inneren erhält jedes Foto eine Zahlenliste, die Merkmale beschreibt. Bleiben diese Beschreibungen nach erfolgreichem Training chaotisch, oder ordnen sie sich nach einem Muster?

Neural Collapse ist ein Phänomen, das in der späten Trainingsphase vieler Klassifikatoren beobachtet wurde: Die Beschreibungen von Beispielen derselben Klasse nähern sich einem gemeinsamen Mittelpunkt, und die Klassenmittelpunkte bilden eine regelmäßige Anordnung. Ein Klassifikator ist ein Modell, das eine Eingabe einer Kategorie zuordnet.

Stell dir ein Diagramm mit drei Punktwolken vor. Anfangs sind die „Katze“-Punkte verstreut. Später wird die Wolke schmaler, und die Mittelpunkte von Katzen, Hunden und Vögeln ordnen sich zunehmend symmetrisch an. Das veranschaulicht die Geometrie und ist kein tatsächliches Diagramm eines konkreten Netzes. In höherdimensionalen Räumen beobachten Forscher auch die Ausrichtung der Gewichte der letzten Schicht an diesen Mittelpunkten.

Papyan, Han und Donoho, §2, beschreiben vier verbundene Eigenschaften des Phänomens. „Collapse“ bedeutet weder einen Modellausfall noch das Verschwinden aller seiner Fähigkeiten. Die Ergebnisse betreffen bestimmte Klassifikationsbedingungen; sie garantieren weder ein ähnliches Verhalten beliebiger Sprachmodelle noch automatische Robustheit gegenüber neuen Daten.

Verbindungen

Können wir eine physikalische Theorie des Lernprozesses entwickeln, die das makroskopische Verhalten von Netzen vorhersagt? [Polski]