Paweł Dubiel Tech Blog

Map the garden

Knowledge Graph

The original Quartz-style map of linked notes, rebuilt as a sleek interactive graph from the notebook's wikilinks and internal references.

Linked thinking

Knowledge Graph

405 notes1219 links385 connected
Scroll to zoom · drag to move · rotate with controls
AITokenModele LLMAI HarnessTransformerFine-tuningKV CacheReinforcement Learning42ah⁝ Czy możemy zbudować teorię fizyki procesu uczenia, która przewiduje makroskopowe zachowania sieci?Autoregressive Language ModelingLearning rate to za mało. Liczy się ELRCross-entropyPrefillSoftmaxDecodeToken EmbeddingKnowledge DistillationMulti-Head AttentionOptimizer StateTemperatureAdamCausal MaskingPre-trainingStochastic Gradient DescentGłosowanie kłamie. Niezgoda zwykle nieHy4 Preview ma limit 1M tokenów, lecz receptury SGLang pokazują 262KKV-cache scaling problem in LLM inferencePrefix CachingSelf-attentionTen sam ranking daje inne decyzje po zmianie kolejnościBłędy kwantyzacji częściowo znoszą się między warstwami modeluChinese AI LabsLoRAPrefix Sliding. Myślenie może być długie, pamięć nieTensor ParallelismTime to First TokenZeROLepsza pierwsza próba nie gwarantuje skuteczniejszych powtórek agentaLLMLLM inference speed is fundamentally memory-bandwidth boundMixed Precision TrainingModel uczony pojedynczych poprawek rozwija harness na nowym benchmarkuPrzewidywanie wyników poleceń pomaga w późniejszym treningu agentaReinforcement Learning with GRPO Fine-Tuning a Small Language Model for Chain-of-Thought Math Reasoning. Similar to Deepseek R1 trainingWeryfikacja kodu generowanego przez agentów wymaga niezależnych kryteriów100⁝ Software Engineering27⁝ BooksAll-reduceCircuit Condensation skupia obliczenie w mniejszym grafie przyczynowymDisaggregated ServingGradient AccumulationGrouped-Query AttentionInter-token LatencyMomentumPositional EncodingScaled Dot-Product AttentionTop-k SamplingTop-p SamplingUnderstanding the Attention Mechanism in Transformer ModelsWeight decayZachowywanie stanu w testach GPT-6 Astra na ARC-AGI-327f⁝ AMD Ryzen 9 9950X3D2bfloat16Data ParallelismGradient ClippingIdempotency KeysLayer NormalizationLM headLoss ScalingPagedAttentionPipeline ParallelismPosition-wise Feed-Forward NetworkResidual connectionReward hacking. Wykorzystywanie luk w systemie nagródRobot wyszedł poza planszę. Benchmark uznał to za sukcesSoftware engineering in AI era new (old) paradigmSpeculative DecodingTest-time scalingAll-gatherByte Pair EncodingChunked PrefillContinuous BatchingGoogle wydało Gemini 3GRPOJavaKV cache między modelami. Nvidia zmniejsza koszt przełączaniaMulti-Query AttentionOpenAI wydało GPT-6 AstraOpenAI wydało GPT-6 Sol i GPT-6 LunaRMSNormRotary Position EmbeddingAdamWAgent sam przepisał malware do zaufanej bibliotekiAnthropic wydało Claude Opus 4.7Beam SearchGreedy DecodingHP ZGX Fury. Architektura GB300, modele LLM, testy i cenaHyperballKL DivergenceMiMo-V2.6. Jak wypada na tle Claude, GPT i DeepSeekOczekiwany wynik testu musi być niezależny od kodu agentaReduce-scatterReinforcement Learning from Human FeedbackScholarCatalyst: agent nie poprawił wyszukiwania użytecznych pracw LLM-ach koszt treningu jest ogromny. Mamy trzy ograniczenia:20⁝ Philosophy42ac⁝ ChatJimmy.ai - 15-17k tokenów na sekundęActivation CheckpointingAgentMachineAnthropic wydało Claude Opus 5.5Astra i looped transformers. Jak model ponownie używa warstwCodex czy Claude Code. Ceny, limity i możliwości we wrześniu 2026Deepseek R1 noteDistributed SystemEveryone will say that 2025 is the year of AI agents. But I think it's far from readyGoodputMasked Language ModelingMuse Spark 1.3. Wyniki, koszty i ujawnione szczegóły architekturyMVUEH. Co potwierdza odzyskanie jednego meldunku EnigmyNVIDIAOn-policy self-distillationpass@kPerplexityScale invarianceScaling LawsTest-time ComputeTest-time training100c1a⁝ Idempotency Keys - DRAFT42m1⁝ We are near the end of the exponentialAnthropic wydał Fable 5.1 i Mythos 5.1APIASICAttention sinkCognitive DebtConscious AGIConscious AGI And Anthropic PrincipleCritical Batch SizeCross-attentionDelayed accelerationElixir jako system operacyjny dla agentów. Przemyślenia z budowy AgentMachineEXOFlashAttentionImplicit Regularization Przez HyperparametryLoss maskingNesterov MomentumNorma FrobeniusaNote on paper Training Large Language Models to Reason in a Continuous Latent SpaceOpenAI wydało GPT-5.1OpenAI wydało GPT-5.1-Codex-MaxOpenAI wydało GPT-6.1 Sol. Cache potaniał o połowęSelf-distillation jako ważny kierunek rozwoju LLMSliding windowSzybkość inferencji zwiększa możliwości systemów AI