#ai#llm#inference#papers#aigen
Sliding window
Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.
Sliding window attention (SWA) oznacza: każdy token widzi tylko ostatnie W tokenów. Koszt na nowy token jest ograniczony. Problem: jak W minie, prefix z zadaniem wypada. Model zapomina, co liczy i jakich narzędzi może użyć.
Dlatego gpt-oss przeplata warstwy SWA z warstwami pełnej uwagi. Prefix Sliding idzie inną drogą: SWA plus globalny prefix. Okno jedzie po rozumowaniu, instrukcja zostaje przypięta. Jeden hiperparametr — W — zamiast mieszanki typów warstw.