Boty obciążają git.kernel.org. Operator ogranicza anonimowy dostęp

Operator git.kernel.org ogranicza funkcje anonimowego dostępu, żeby zmniejszyć koszt obsługi botów pobierających historię Linuksa. W relacji opublikowanej 29 sierpnia Konstantin Ryabitsev podaje, że generowanie stron z commitami zajmuje stale 14–16 z 90 rdzeni procesorów serwisu. Dane można pobrać przez Git, lecz boty żądają ich jako osobnych stron WWW.

Ryabitsev przypisuje opisywany ruch zbieraniu danych dla AI, ale nie identyfikuje jego zleceniodawców i przyznaje, że nie potrafi pewnie rozdzielić botów od ludzi. Podane obciążenie jest relacją operatora, a nie niezależnym pomiarem udziału konkretnych firm.

Ten sam commit pod wieloma adresami

Cgit, przeglądarka repozytoriów używana przez serwis, pokazuje zmiany w kodzie i pozwala porównywać wersje. Gdy wiele odgałęzień projektu współdzieli bazę obiektów Gita, pojedynczy commit może być dostępny pod adresami różnych repozytoriów. Bot przechodzący po tych adresach wielokrotnie pobiera tę samą zmianę.

Ryabitsev opisuje techniczny skutek w propozycji poprawki do cgit: każda taka strona wymaga wygenerowania porównania i zajmuje osobne miejsce w pamięci podręcznej, wypierając strony potrzebne użytkownikom.

Do analizy historii kodu nadaje się lokalna kopia repozytorium. Polecenie git clone pobiera repozytorium, a kolejne aktualizacje można odbierać przez git fetch. Porównania wersji da się wtedy obliczać na własnym komputerze. Proces przygotowujący dane dla modelu powinien korzystać z takiej kopii zamiast zlecać serwerowi generowanie każdej strony.

Anubis przepuszcza także boty

Przed serwisem działa Anubis, który wymaga wykonania obliczeń przed udostępnieniem zasobu. Taki dowód pracy zwiększa koszt masowego pobierania. Według Ryabitseva z około 6 mln dziennych żądań dotyczących commitów mniej więcej jedna trzecia przechodzi już tę ochronę. Boty zaczęły rozwiązywać zadania mimo podnoszenia ich trudności.

Blokowanie adresów IP również traciło skuteczność: połączenia przychodziły z sieci domowych i komórkowych, a poszczególne adresy pojawiały się tylko na kilka żądań. Podobne obchodzenie blokad opisywała już w marcu 2025 roku Ars Technica.

Zaostrzenie ochrony utrudnia dostęp także innym odbiorcom. Dokumentacja Anubisa ostrzega, że narzędzie może blokować pożyteczne roboty, na przykład archiwizujące sieć, i przewiduje reguły dopuszczające taki ruch.

Odrzucanie żądania przed generowaniem strony

Propozycja poprawki z 25 sierpnia pozwala cgit sprawdzić, czy żądany commit należy do historii dostępnej przez gałęzie lub tagi danego repozytorium. W przeciwnym razie serwer zwraca błąd 404 przed wygenerowaniem strony. Dotychczasowy filtr uruchamiał sprawdzenie dopiero po obliczeniu porównania, gdy koszt został już poniesiony.

Opcja jest w proponowanym kodzie domyślnie wyłączona. Autor wymaga utrzymywania indeksu commit-graph, który przyspiesza sprawdzanie historii; bez niego kontrola może być bardzo kosztowna. To propozycja ograniczenia nadmiarowych adresów, bez opublikowanego pomiaru oszczędności po wdrożeniu w całym serwisie. Kod i warunki użycia.

Źródła

Źródła pierwotne

• Konstantin Ryabitsev: pomiary ruchu i obciążenia git.kernel.org.
• Propozycja kontroli przynależności obiektów w cgit, 25 sierpnia 2026.
• Anubis: dokumentacja projektu i ograniczenia ochrony.
• Git: dokumentacja klonowania repozytorium.

Niezależne analizy i relacje

• Numerama: obciążenie infrastruktury Linuksa i ograniczenia anonimowego dostępu.
• Ars Technica: wcześniejsze relacje o obchodzeniu blokad przez boty.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.