Interchange ablation

Interchange ablation zastępuje aktywację badanego elementu wartością z dopasowanego wejścia kontrfaktycznego. Nie wstawia zera ani średniej aktywacji.

Przykład: clean prompt brzmi „Jan podał Marii książkę”, a corrupted prompt zamienia role Jana i Marii. Aby sprawdzić jedną krawędź, model przetwarza clean prompt, ale na tej krawędzi dostaje aktywację powstałą dla corrupted promptu. Jeżeli odpowiedź zmienia się zgodnie z kontrfaktyczną wersją, krawędź prawdopodobnie przenosi informację istotną dla badanego zachowania.

Ta operacja ogranicza problem wartości spoza rozkładu, który może powstać po wyzerowaniu aktywacji. Nie daje jednak wyniku niezależnego od metody ablacji. Circuit wierny przy interchange ablation może nie być wierny po zastąpieniu aktywacji zerem lub średnią. To ograniczenie jest ważne w 42bb⁝ Circuit Condensation skupia obliczenie w mniejszym grafie przyczynowym.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.