Causal circuit

Causal circuit to skierowany podgraf elementów modelu i połączeń, który wystarcza do odtworzenia konkretnego zachowania pod zadaną regułą interwencji. W Transformerze węzłami mogą być głowy attention i MLP, a krawędziami przepływ ich wkładu przez residual stream do późniejszych elementów.

Jeżeli pełny model wybiera w zdaniu osobę, która otrzymała przedmiot, circuit jest wierny, gdy po zastąpieniu aktywacji poza tym grafem wartościami z dopasowanego, zmienionego zdania model nadal wybiera tego samego odbiorcę z dopuszczalnie małą stratą accuracy.

Mały circuit nie oznacza, że każda jego krawędź działa niezależnie. W 42bb⁝ Circuit Condensation skupia obliczenie w mniejszym grafie przyczynowym ablacje par wykazały interakcje w każdym badanym grafie. Mniejszy rozmiar umożliwił przetestowanie tych zależności, ale ich nie usunął.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.