Colapso neuronal
Colapso neuronal
Enseñas al modelo a reconocer gatos, perros y pájaros en fotografías. En su interior, cada foto recibe una lista de números que describe sus características. Después de un entrenamiento exitoso, ¿siguen siendo caóticas esas descripciones o forman algún patrón?
Neural Collapse es un fenómeno observado en la fase tardía del entrenamiento de muchos clasificadores: las descripciones de ejemplos de la misma clase se acercan a un centro común y los centros de las clases forman una estructura regular. Un clasificador es un modelo que asigna una entrada a una categoría.
Imagina un gráfico con tres grupos de puntos. Al principio, los puntos de «gato» están dispersos. Después, el grupo se estrecha y los centros de gatos, perros y pájaros se disponen de forma cada vez más simétrica. Es una ilustración de la geometría, no un gráfico real de una red concreta. En un espacio con más dimensiones, los investigadores también observan que los pesos de la capa final se alinean con esos centros.
Papyan, Han y Donoho, §2, describen cuatro propiedades relacionadas de este fenómeno. La palabra «collapse» no significa una avería del modelo ni la desaparición de todas sus habilidades. Los resultados se refieren a determinadas condiciones de clasificación; no garantizan un comportamiento similar en cualquier modelo de lenguaje ni una resistencia automática ante datos nuevos.