OpenAI raportuje 3,1 dnia działania agentów na dzień pracy badacza

OpenAI ogłosiło, że osiągnęło swój wewnętrzny próg „automatycznego stażysty badawczego”. Firma definiuje go jako system, który pod kierunkiem człowieka wykonuje dobrze określone zadania badawcze, także takie, które wykwalifikowanemu badaczowi zajęłyby kilka dni. Nie jest to zewnętrzny egzamin ani samodzielne prowadzenie badań. To deklaracja firmy oparta na danych z jej własnej organizacji.

Najciekawszą częścią raportu z 6 września 2026 roku nie jest jednak nazwa stanowiska, lecz opis pomiaru. Pokazuje on organizację, w której agenci programistyczni działają już dłużej niż ludzie, ale nadal nie przejęli wyboru problemów, oceny wyników ani decyzji o wdrożeniu.

3,1 dnia oznacza czas działania, nie wynik pracy

W połowie sierpnia łączny czas działania agentów w dziale badawczym odpowiadał 3,1 ośmiogodzinnego dnia na każdy dzień pracy człowieka. Jeszcze przed czerwcem stosunek ten był mniejszy od jednego.

Metoda liczy czas na podstawie zdarzeń połączenia z serwerem i telemetrii klienta. Obejmuje agentów uruchomionych przez pracownika, ich podagentów oraz automatyczne przeglądy kodu. Nie obejmuje między innymi zaplanowanych automatyzacji. Gdy przerwa między zdarzeniami przekracza 30 minut, taki odcinek wypada z obliczenia. Dzień pracy człowieka nie pochodzi z rejestru aktywności: autorzy przyjmują osiem godzin na pracownika.

Ta proporcja opisuje zatem czas wykonania, a nie wartość zaakceptowanego wyniku. Czterech agentów działających równolegle przez godzinę dodaje cztery agentogodziny, nawet jeśli człowiek wykorzysta rezultat tylko jednego. Sam model też nie wyjaśnia całości wyniku. Znaczenie ma uprząż agenta: narzędzia, dostęp do repozytoriów, pętle sprawdzania i sposób dzielenia zadania.

Mediana dziennego zużycia na badacza odpowiada ponad 600 dolarom, a 90. percentyl przekracza 7 tys. dolarów. To wycena według publicznych stawek API, nie rachunek firmy. Modele wewnętrzne i przedpremierowe przypisano do najbliższych odpowiedników produkcyjnych. Liczby dobrze pokazują skalę użycia, lecz nie pozwalają obliczyć zwrotu z tego wydatku.

Więcej kodu i eksperymentów nie mierzy postępu modelu

Raport pokazuje wzrost liczby zmienionych linii kodu na aktywnego autora oraz rekordową liczbę eksperymentów na aktywnego eksperymentatora w sierpniu. Oba wskaźniki są pożyteczne jako miara ruchu w organizacji, ale mają wyraźne ograniczenia.

Miara kodu sumuje linie dodane i usunięte w nieautomatycznych commitach. Duży refaktoring może ją podbić bez poprawy modelu, a mała zmiana algorytmu może mieć duży wpływ przy niewielkim diffie. Z kolei wzrost liczby eksperymentów zbiega się ze wzrostem dostępnej mocy obliczeniowej. Mianownik obejmuje wyłącznie osoby, które w danym tygodniu uruchomiły co najmniej jeden eksperyment, więc wycofanie się najmniej aktywnych badaczy samo podnosi średnią.

Do klasyfikowania pracy agentów OpenAI wykorzystało taksonomię Epoch AI. Dzieli ona badania na wybór kierunku, projektowanie, budowę, uruchamianie, analizę i komunikację. Użycie agentów wzrosło we wszystkich kategoriach od stycznia do sierpnia, ale planowanie na wysokim poziomie nadal stanowiło małą część ich pracy. To ważne rozróżnienie: szybsza realizacja pomysłu nie jest tym samym co wybór lepszego pomysłu.

Skuteczność zadań ocenił inny model

Najbliżej pomiaru wyniku jest analiza powodzenia zadań. OpenAI pobrało losową próbę 2% interaktywnych sesji z pierwszych siedmiu miesięcy roku. Klasyfikator oparty na GPT-5.6 Sol analizował przebieg sesji oraz powiązane dokumenty, dyskusje i pull requesty. Oceniał, czy agent ukończył zadanie oraz ile razy człowiek musiał skorygować jego pracę.

Skuteczność rosła od stycznia do lipca w kilku przedziałach trudności. Jednocześnie ponad połowa udanych zadań szacowanych na cztery do ośmiu godzin wymagała przynajmniej jednej interwencji człowieka. Przypadki bez pewnej oceny wyłączono z głównych wykresów.

Walidacja klasyfikatora na ręcznie oznaczonych danych obejmowała tylko 25 zadań. Autorzy sprawdzili też bardziej pesymistyczny wariant, w którym niepewne przypadki uznaje się za porażki, i nadal zobaczyli poprawę w późniejszych miesiącach. Tak mała próba ręcznej kontroli nie wystarcza jednak do dokładnego oszacowania błędu klasyfikatora. Dane wspierają tezę, że firma deleguje agentom dłuższe zadania z lepszym skutkiem niż na początku roku. Nie dowodzą, że agent zastępuje badacza.

To jeszcze nie jest rekurencyjne samodoskonalenie

OpenAI wyznacza kolejny cel: automatycznego badacza AI do marca 2028 roku. W opublikowanym tego samego dnia eseju Jakub Pachocki opisuje automatyzację badań jako możliwą drogę do rekurencyjnego samodoskonalenia, w którym lepszy system pomaga zbudować jeszcze lepszego następcę. To przewidywanie, nie wynik przedstawionego pomiaru.

Model teoretyczny Mikhaila Burtseva pokazuje, dlaczego samo przyspieszenie nie rozstrzyga tej kwestii. Wysoka bazowa produktywność może przyspieszać prace bez samowzmacniającej się pętli. Do wykazania takiej pętli potrzebne byłyby dane o tym, jaka część ulepszeń przechodzi do kolejnych generacji systemu, jak silnie zwiększa ich zdolność do dalszych badań, ile trwa pełny cykl i jak szybko rośnie trudność następnych odkryć.

Raport OpenAI nie łączy czasu agentów z tempem poprawy kolejnych modeli w taki sposób. Nie zawiera też porównania z zespołem wykonującym podobne badania bez agentów. Publikuje za to rzadko ujawniane dane operacyjne o użyciu agentów wewnątrz laboratorium rozwijającego modele graniczne.

Czego potrzeba do mocniejszego wniosku

Badacze zajmujący się pomiarem automatyzacji R&D proponują łączenie kilku rodzajów danych: udziału AI w kosztach badań, czasu ludzi, automatyzacji konkretnych zadań, tempa postępu oraz zdolności do nadzoru. OpenAI publikuje głównie dane o zużyciu i aktywności.

Kolejny krok powinien pokazać wyniki dla stałego zestawu zadań, koszt ludzkich poprawek i odsetek rezultatów, które rzeczywiście weszły do treningu następnego modelu. Z obecnych danych wynika, że OpenAI uruchamia agentów na dużą skalę i powierza im wielogodzinne fragmenty badań. Nie wiadomo jeszcze, o ile skraca to drogę do lepszego modelu.

Źródła

Materiały OpenAI

Niezależne badania i analizy

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.