Neural Feature Ansatz
Model rozpoznaje obraz, ale nie wiemy, które zmiany wejścia naprawdę wpływają na odpowiedź. Czy wyuczone wagi wzmacniają właśnie te kierunki zmian, na które wynik jest najbardziej wrażliwy? To pytanie o to, jak model wybiera cechy.
Neural Feature Ansatz (NFA) to hipoteza łącząca strukturę wag z wrażliwością wyniku na wejście. „Ansatz” oznacza proponowaną zależność, którą trzeba uzasadnić lub sprawdzić. Wagi to liczby sterujące obliczeniami, a ich układ można porównać z kierunkami ważnymi dla przewidywania.
Przykład intuicyjny: jeśli niewielka zmiana pewnego fragmentu obrazu mocno zmienia wynik, ten kierunek może być ważną cechą. Badacze zbierają takie lokalne wrażliwości, nazywane gradientami. Tworzą z nich tabelę liczb opisującą, które kierunki zmian wejścia wspólnie wpływają na wynik. Porównują ją z tabelą wyliczoną z wag sieci. Hipoteza przewiduje określoną zależność między tymi tabelami; nie sprowadza się do pytania „czy model patrzy na właściwe miejsce”.
Praca o uczeniu cech, §3, przedstawia NFA i sposób jej sprawdzania. Nie jest to ogólne prawo każdej sieci ani stwierdzenie, że dowolna jej warstwa zachowuje się identycznie. Zakres hipotezy zależy od badanego układu.