Zachowywanie stanu w testach GPT-6 Astra na ARC-AGI-3
W ARC-AGI-3 GPT-6 Astra zdobyła 99,9% ze specjalnym adapterem przygotowanym przez OpenAI i 62,7% w standardowym środowisku testowym ARC Prize.
ARC Prize opisało oba przebiegi. Konfiguracja ze specjalnym adapterem kosztowała około 18,8 tys. dolarów, a standardowa około 26,1 tys. dolarów.
Adapter zachowywał stan między żądaniami
W standardowym środowisku aplikacja ponownie przesyłała kontekst potrzebny do kolejnego wywołania API. Adapter OpenAI przechowywał między wywołaniami stan rozumowania niedostępny dla użytkownika, a przy dłuższej pracy skracał historię do najważniejszych ustaleń.
W 167 grach rozwiązanych przez obie konfiguracje adapter był 3,66 raza szybszy i zużył o 49% mniej tokenów.
Parametry potrzebne do odtworzenia testu
Aby odtworzyć porównanie ARC Prize, oprócz nazwy modelu i limitu tokenów trzeba znać konfigurację środowiska prowadzącego test:
- wersja programu prowadzącego test;
- zasady przenoszenia stanu między wywołaniami;
- sposób skracania historii;
- dostępne narzędzia i ich instrukcje;
- budżet, limit czasu i reguły ponawiania prób.
Brak osobnych pomiarów obu mechanizmów
ARC Prize nie opublikowało prób, które osobno włączałyby zachowywanie stanu i skracanie historii. Nie wiadomo więc, ile punktów dał każdy mechanizm.