Universal Representations I Universal Phenomena
Dwa niezależnie uczone modele inaczej zapisują liczby, ale podobnie odróżniają te same obrazy. Czy można porównać ich wewnętrzne opisy, skoro nie istnieje proste „neuron 17 robi to samo”?
Universal Representations to określenie hipotez i obserwacji podobnych struktur reprezentacji w różnych modelach. Reprezentacja jest listą liczb opisującą wejście. Podobieństwo może dotyczyć relacji między przykładami, nawet gdy ich współrzędne w modelach są odmienne.
To jak dwie mapy tego samego terenu narysowane z inną orientacją: nie porównujemy wprost pojedynczych współrzędnych, lecz układ relacji. Kornblith i współautorzy, §2–3, opisują metodę porównywania reprezentacji CKA i jej założenia.
Universal Phenomena to szersze podobieństwa wzorców uczenia, np. powtarzająca się dynamika. To inne pytanie niż podobieństwo opisów w środku modelu. „Universal” nie oznacza udowodnionej identyczności wszystkich sieci ani wspólnego ludzkiego rozumienia świata. Wynik zależy od danych, warstw i sposobu porównania.