Jak działa AI i co z tego wynika.

Notatki o modelach językowych, agentach i tworzeniu oprogramowania. Przyglądam się badaniom, wyjaśniam pojęcia i zapisuję obserwacje o możliwościach, ograniczeniach i skutkach rozwoju AI.

Browse Blog Browse Notes Projects

Loading public feed...

Static HTML

Latest entries

The latest public entries, available without scripts, filters, or animation.

2026-09-14Autoregressive Language ModelingAutoregressive Language Modeling opisuje prawdopodobieństwo tekstu przez prawdopodobieństwa jego kolejnych tokenów. Każdy krok zależy od wcześniejszego fragmentu sekwencji. Token może być całym słowem, częścią słowa albo
2026-09-14Byte Pair EncodingByte Pair Encoding BPE w tokenizacji uczy słownik jednostek tekstu przez wielokrotne łączenie najczęstszych sąsiadujących par symboli. Powstały Token może obejmować kilka znaków, część słowa albo całe słowo. Sennrich, Ha
2026-09-14Fine-tuningFine tuning to dalsze uczenie modelu, który ma już wyuczone parametry. Zaczyna od istniejącego checkpointu i dostosowuje model do danych, zadania lub oczekiwanego sposobu odpowiadania. Punktem wyjścia często jest Pre tra
2026-09-14Pre-trainingPre training to etap uczenia, w którym model zdobywa parametry stanowiące punkt wyjścia do dalszego wykorzystania i adaptacji. W modelach językowych często odbywa się na dużym zbiorze tekstów, a sygnał treningowy powstaj
2026-09-14SoftmaxSoftmax przekształca wektor liczb, zwykle nazywanych logitami, w rozkład prawdopodobieństwa. Dla skończonych logitów matematyczny wynik ma dodatnie składowe, które sumują się do jedności: $$ p i=\frac{\exp z i }{\sum {j=
2026-09-14Amodei, Altman i Musk popierają spowolnienie AI. Co proponują12 września 2026 roku Dario Amodei, szef Anthropic, opublikował apel o spowolnienie rozwoju najbardziej zaawansowanych modeli AI must pace the frontier . Poparli go Sam Altman i Elon Musk. Według relacji ABC News Altman
2026-09-14Rynek pracy AI w 2026. Rośnie popyt na wdrożeniaMaksim Ilin w przeglądzie rynku pracy AI w 2026 roku jobs market 2026 zestawia dane o zatrudnieniu, płacach i poszukiwanych umiejętnościach. Zwraca uwagę na rosnącą rolę ludzi, którzy potrafią połączyć modele z danymi i
2026-09-14HP ZGX Fury. Architektura GB300, modele LLM, testy i cenaHP ZGX Fury to komputer do uruchamiania dużych modeli AI na miejscu, w firmie lub laboratorium. StorageReview opisuje rozpoczęcie przyjmowania zamówień zgx fury is now orderable gb300 superchip 748gb unified memory and a
2026-09-14Causal MaskingCausal Masking ogranicza przepływ informacji tak, aby reprezentacja danej pozycji nie korzystała z późniejszych pozycji sekwencji. W Self attention modelu przewidującego następny token zwykle dopuszcza pozycję bieżącą i
2026-09-14Cross-attentionCross attention pobiera query z jednej sekwencji reprezentacji, a key i value z drugiej. Dla każdego query oblicza wynik przez połączenie informacji z dostępnych value. Od Self attention różni się pochodzeniem danych: ta
2026-09-14Layer NormalizationLayer Normalization LayerNorm normalizuje reprezentację na podstawie statystyk jej współrzędnych. W typowym bloku Transformer średnią i wariancję liczy się osobno dla wektora każdej pozycji, po wymiarze cech. Nie zbiera
2026-09-14Position-wise Feed-Forward NetworkPosition wise Feed Forward Network FFN przekształca wektor każdej pozycji sekwencji osobno, używając tych samych parametrów dla wszystkich pozycji w danym bloku. Sama FFN nie odczytuje sąsiednich pozycji. Jej wejście moż

Open the complete archive →