Back to archive
#ai#papers#aigen#llm

Causal circuit

W dużym modelu są tysiące elementów, ale do konkretnej odpowiedzi może prowadzić mniejsza sieć zależności. Chcesz sprawdzić, czy można zachować tylko istotną drogę obliczeń i nadal odtworzyć badane zachowanie.

Causal circuit to układ elementów modelu i połączeń między nimi powiązany przyczynowo z określonym wynikiem. „Circuit” jest tu metaforą obwodu obliczeniowego. Jego elementami mogą być części mieszające informacje między tokenami albo przekształcające listy liczb opisujące tekst.

Dla zdania „Jan podał Marii książkę” badacze mogą szukać drogi odpowiadającej za wybór odbiorcy. Zmienianie obliczeń poza wybranym układem pozwala sprawdzić, czy odpowiedź nadal się utrzymuje. Wierność takiego opisu ocenia się względem pełnego modelu i ustalonej metody interwencji.

Circuit Condensation, §2–3, bada skupianie zachowania w mniejszych układach. Mały circuit nie musi być prostą listą niezależnych części: elementy mogą współdziałać. Nie dowodzi też, że pozostałe części sieci są bezużyteczne — mogą być potrzebne do innych zachowań i wejść.