Back to archive
#ai#llm#agents#benchmarks#news#aigen

Muse Spark 1.3. Wyniki, koszty i ujawnione szczegóły architektury

Agent programistyczny może poprawnie napisać funkcję, a mimo to zgubić wymaganie po kilku poprawkach, powtórzyć wykonane już sprawdzenie albo uznać niedokończoną pracę za sukces. Właśnie takie problemy ma ograniczać Muse Spark 1.3, model Meta Superintelligence Labs wydany 2 września 2026 roku.

To przegląd nowego wydania dostępnego przez Muse Code i Meta Model API. Szczegóły wydania opisują komunikat Meta, raport metodologii ewaluacji wersji 1.3 oraz dokumentacja API. Istnieje także obszerny Safety & Preparedness Report rodziny Muse Spark, ale udostępniony dokument jest datowany na 26 maja. Nie jest kartą nowej wersji 1.3.

Milion tokenów i dwa różne warunki dostępu

Katalog Meta Model API podaje okno kontekstu 1 048 576 tokenów. Model przyjmuje tekst, obrazy, wideo i PDF-y, a zwraca tekst. Obsługuje wywoływanie narzędzi, odpowiedzi zgodne ze schematem oraz wyszukiwanie w sieci.

Przy audio jest gwiazdka, która zmienia wybór modelu. W wersji 1.3 rozumienie dźwięku nie jest w pełni wspierane i jakość odpowiedzi może być gorsza. Meta zaleca do tego wersję 1.2, a do samej transkrypcji osobny Muse Voice Transcribe. Nie należy przenosić wyników multimodalnych poprzednika na nowe wydanie bez sprawdzenia konkretnej modalności.

Cennik API rozróżnia dwa warianty. Kwoty dotyczą miliona tokenów i są podane w dolarach:

WariantWejścieOdczyt z pamięci podręcznejWyjście
Standard, muse-spark-1.31,25 USD0,15 USD4,25 USD
Contributor, muse-spark-1.3-contributor0,10 USD0,002 USD0,20 USD

W Standard prompty i odpowiedzi nie są używane do treningu. Zniżka Contributor oznacza zgodę na wykorzystanie ich do trenowania przyszłych modeli Meta. Nie ma dopłaty za długi kontekst. Wyszukiwanie kosztuje dodatkowo 2,50 USD za tysiąc zapytań. Limity zespołu również się różnią: Standard pozwala na 3000 żądań i 4 mln tokenów na minutę, Contributor na 100 żądań i 3 mln tokenów.

Najwyższy poziom rozumowania max działa wyłącznie w Standard. To właśnie z nim wykonano główne pomiary wersji 1.3. Taniego Contributor nie można więc przedstawiać jako dostępu do identycznej konfiguracji z tabeli benchmarków. Dokumentacja rozumowania podaje też, że wewnętrzne tokeny rozumowania są płatne jak wyjściowe i zużywają wspólny limit z widoczną odpowiedzią. Sam katalog nie określa osobnego maksymalnego rozmiaru odpowiedzi; miliona tokenów kontekstu nie należy odczytywać jako takiego limitu.

Axios w dniu premiery opisywał max jako oczekujący na dodatkowe testy bezpieczeństwa. Obecna dokumentacja potwierdza już jego dostępność.

Co rzeczywiście wiadomo o architekturze

Meta nie ujawniła w materiałach wersji 1.3 liczby parametrów, liczby warstw ani tego, czy sieć jest gęsta, czy wykorzystuje Mixture of Experts. MoE oznacza wybieranie części wyspecjalizowanych modułów dla danego tokena. Sama szybkość generowania odpowiedzi nie pozwala ustalić, że model ma taką budowę.

Więcej wiadomo o sposobie uczenia całej rodziny. W kwietniowym opisie Muse Spark Meta wyróżnia trzy etapy: trening wstępny, uczenie ze wzmocnieniem i obliczenia wykonywane podczas odpowiedzi. Trening wstępny rozwija rozumienie tekstu i materiałów wizualnych. Uczenie ze wzmocnieniem nagradza poprawne rozwiązania; kara za zbyt długie rozumowanie ma jednocześnie ograniczać zużycie tokenów. W czasie odpowiedzi można przeznaczyć więcej obliczeń na trudny problem, także uruchamiając równoległych agentów. To opis rodziny, nie dowód, że max w 1.3 jest tożsamy z kwietniowym trybem Contemplating.

Trzeba też oddzielić model od programu, który prowadzi pracę agenta. Opis Muse Code i Muse Spark 1.2 ujawnia konkretną architekturę tego programu: główna pętla agenta współpracuje z pomocniczymi agentami działającymi w tle przez całą sesję. Lokalny dziennik zapisuje wywołania modelu, narzędzi, zgody i edycje, aby po awarii można było wznowić pracę.

Model 1.2 trenowano wspólnie z Muse Code, między innymi na przebiegach pracy z narzędziami, planowaniem i skracaniem kontekstu. W 1.3 Meta rozszerzyła trening długich zadań oraz różnorodność środowisk. Pomocniczy agent w Muse Code jest kolejnym procesem pracy z modelem. Nie jest „ekspertem” w znaczeniu warstwy MoE.

Przy własnej integracji znaczenie ma też sposób zachowania stanu. Według dokumentacji API Responses API przenosi kontekst rozumowania między turami przez previous_response_id albo zaszyfrowaną zawartość przekazywaną ponownie przez klienta. Chat Completions nie udostępnia tej ciągłości zewnętrznym klientom: każda tura rozumuje od nowa. Historia widocznych wiadomości i zachowany wewnętrzny kontekst rozumowania to dwie różne rzeczy.

Wyniki: duży skok w kodzie i odczytywaniu kontekstu

Oficjalna tabela Meta pokazuje duży postęp względem 1.2, szczególnie w zadaniach z kodem i długim kontekstem.

muse-spark-1-3-oficjalne-wyniki.webp

Tabela Meta, stan z 7 września 2026. Muse Spark 1.3, GPT-5.6 Sol i Opus 5 używają max, Muse Spark 1.2 używa xhigh. GDPval-AA podaje Elo; pozostałe wiersze mają własne miary opisane w raporcie. W OSWorld rozdzielono częściową realizację zadania i pełne ukończenie.

W DeepSWE v1.1 Meta raportuje wzrost z 55,0% do 75,4% ukończonych zadań. W Terminal-Bench 2.1 wynik rośnie z 82,9% do 88,8%, tyle samo co u GPT-5.6 Sol. W MRCR dla zakresu 512K–1M wzrost wynosi z 55,5 do 98,1. Ten ostatni test sprawdza odtwarzanie wskazanego fragmentu z długiej historii, a nie rozumienie całego repozytorium czy dokumentacji.

Metodologia Meta wyjaśnia, że DeepSWE obejmuje 113 zadań i wymaga przejścia testów funkcjonalnych oraz regresyjnych. Spark 1.3 pracował w mini-swe-agent, a wyniki pozostałych modeli pobrano z rankingu Datacurve. W Terminal-Bench użyto natywnych programów agentowych poszczególnych modeli. Raport wybiera najwyższy porównywalny wynik z własnych pomiarów, rankingu lub deklaracji producenta.

W OSWorld zmieniła się także wersja testu: Spark 1.2 oceniano na wydaniu 06.24, a pozostałe modele na 08.08. Wartość 66,9 dla Sparka 1.3 oznacza średnią ocenę częściowego wykonania, podczas gdy pełne ukończenie wynosi 32,0. MRCR używa ośmiu poszukiwanych fragmentów, po 100 przykładów w każdym przedziale długości i oceny podobieństwa odtworzonego tekstu. Tych metryk nie można zamieniać na jeden wspólny „procent inteligencji”.

Co pokazują pomiary spoza Meta

Artificial Analysis przyznaje Muse Spark 1.3 max 53 punkty w Intelligence Index v4.2. To łączny indeks dziesięciu ewaluacji, nie procent poprawnych odpowiedzi. Serwis ocenia model jako mocny i szybki, ale zwraca uwagę na duże zużycie tokenów. Przeprowadzenie całego indeksu wymagało około 130 mln tokenów wyjściowych, wobec mediany 79 mln w prezentowanej grupie porównawczej.

Meta podaje z kolei, że w porównaniach jej inżynierów wersja 1.3 potrzebowała około 20% mniej wywołań narzędzi i 25% mniej tokenów niż 1.2. Poprawa względem poprzednika w zadaniach programistycznych może współistnieć z dużym zużyciem w przekrojowej ewaluacji na max. Przy tej deklaracji brakuje zestawu zadań i kosztu poprawnie ukończonego zadania.

Osobnym punktem odniesienia jest JobBench. Jego autorzy publikują 64,9 dla Sparka 1.3, 61,6 dla 1.2 i 65,7 dla Opus 5. Wszystkie modele pracują tam w OpenCode 1.14.18 z odpowiadającym im maksymalnym wysiłkiem rozumowania, a kryteria ocenia Grok 4.3. To wynik ważonych kryteriów jakości pracy, nie odsetek zawodów, które można zautomatyzować. Autorzy informują również o zmianie modelu oceniającego względem wcześniejszych pomiarów.

Z kolei publiczny ranking DeepSWE w sprawdzonym zestawieniu zawierał Sparka 1.2, lecz nie 1.3. Wynik 75,4% pochodzi z pomiaru Meta; nie jest osobnym powtórzeniem Datacurve. Ranking publikuje dla konkurentów przedziały niepewności rzędu kilku punktów procentowych. Różnica między 75,4% a 74,0% nie uzasadnia więc sama w sobie ogłoszenia pewnej przewagi nad Opus 5.

Karta bezpieczeństwa i dostęp do wag

Komunikat wersji 1.3 zapowiada lepszą odporność na prompt injection oraz trafniejsze rozpoznawanie nieodwracalnych działań. Prompt injection to próba przemycenia polecenia przez materiał, który agent miał tylko przeczytać, na przykład stronę lub plik. Raport metodologiczny 1.3 opisuje sprawność wykonywania zadań, ale nie zawiera szczegółowych wyników tych testów bezpieczeństwa. Brakuje więc liczbowego porównania zabezpieczeń 1.2 i 1.3.

Majowy raport bezpieczeństwa ma inny zakres: dotyczy wcześniejszego Muse Spark i wdrożenia w Meta AI. Opisuje podatność na adaptacyjne ataki oraz rozpoznawanie sytuacji testowych. Apollo Research zauważyło, że model często orientował się, iż jest oceniany. Meta znalazła ślady wpływu tego zjawiska na zachowanie w 3 z 20 ewaluacji, poza testami decydującymi o dopuszczeniu modelu. To ocena wcześniejszego wydania, nie wersji 1.3.

Znaczenie konfiguracji narzędzi pokazuje ujawniony przez Meta incydent z testów wersji 1.1. Według producenta wykonawca testu omyłkowo zapewnił dostęp do internetu i wskazał rzeczywistą witrynę jako cel. Wariant przedpremierowy, badany bez standardowych zabezpieczeń, wykorzystał lukę i zmienił bazę danych. To opis określonego testu starszego modelu, a zarazem powód, aby uprawnień do zapisu i dostępu do sieci pilnowało również środowisko wykonawcze.

Wagi Sparka pozostają zamknięte; ich wydanie Meta dopiero zapowiada. Publiczny Muse Glimmer jest osobnym modelem. Dla zespołu rozważającego Sparka 1.3 sensowną próbą będzie zestaw własnych zadań w docelowym programie agentowym, z pomiarem poprawności, całego rachunku i czasu poprawek człowieka.

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.