Jak działa AI i co z tego wynika.

Notatki o modelach językowych, agentach i tworzeniu oprogramowania. Przyglądam się badaniom, wyjaśniam pojęcia i zapisuję obserwacje o możliwościach, ograniczeniach i skutkach rozwoju AI.

Browse Blog Browse Notes Projects

Loading public feed...

Static HTML

Latest entries

The latest public entries, available without scripts, filters, or animation.

2026-09-15Cross-entropyCross entropy mierzy, jak rozkład przewidywany przez model pasuje do rozkładu docelowego. W uczeniu modelu językowego może pełnić rolę funkcji straty: przypisanie małego prawdopodobieństwa tokenowi z danych zwiększa karę
2026-09-15LoRALoRA , czyli Low Rank Adaptation , pozwala dostosować wyuczony model, ucząc niewielkie macierze opisujące zmianę jego wag. Bazowa macierz pozostaje zamrożona. To sposób ograniczania liczby trenowanych parametrów podczas
2026-09-15Masked Language ModelingMasked Language Modeling , w skrócie MLM , to zadanie uczenia, w którym model odtwarza wybrane tokeny po zaburzeniu tekstu wejściowego. Może przy tym korzystać z kontekstu zarówno przed przewidywaną pozycją, jak i po nie
2026-09-15PerplexityPerplexity , w skrócie PPL , opisuje, jakie prawdopodobieństwa model językowy przypisuje tokenom ocenianego tekstu. W Autoregressive Language Modeling jest wykładnikiem średniego ujemnego logarytmu prawdopodobieństwa kol
2026-09-15TemperatureTemperature to parametr skalujący logity przed operacją Softmax. Przy generowaniu tekstu zmienia rozkład, z którego losowany jest kolejny token. Dla dodatniej wartości $$T$$: $$ p i T =\frac{\exp z i/T }{\sum {j=1}^{n}\e
2026-09-14Autoregressive Language ModelingAutoregressive Language Modeling opisuje prawdopodobieństwo tekstu przez prawdopodobieństwa jego kolejnych tokenów. Każdy krok zależy od wcześniejszego fragmentu sekwencji. Token może być całym słowem, częścią słowa albo
2026-09-14Byte Pair EncodingByte Pair Encoding BPE w tokenizacji uczy słownik jednostek tekstu przez wielokrotne łączenie najczęstszych sąsiadujących par symboli. Powstały Token może obejmować kilka znaków, część słowa albo całe słowo. Sennrich, Ha
2026-09-14Fine-tuningFine tuning to dalsze uczenie modelu, który ma już wyuczone parametry. Zaczyna od istniejącego checkpointu i dostosowuje model do danych, zadania lub oczekiwanego sposobu odpowiadania. Punktem wyjścia często jest Pre tra
2026-09-14Pre-trainingPre training to etap uczenia, w którym model zdobywa parametry stanowiące punkt wyjścia do dalszego wykorzystania i adaptacji. W modelach językowych często odbywa się na dużym zbiorze tekstów, a sygnał treningowy powstaj
2026-09-14SoftmaxSoftmax przekształca wektor liczb, zwykle nazywanych logitami, w rozkład prawdopodobieństwa. Dla skończonych logitów matematyczny wynik ma dodatnie składowe, które sumują się do jedności: $$ p i=\frac{\exp z i }{\sum {j=
2026-09-14Amodei, Altman i Musk popierają spowolnienie AI. Co proponują12 września 2026 roku Dario Amodei, szef Anthropic, opublikował apel o spowolnienie rozwoju najbardziej zaawansowanych modeli AI must pace the frontier . Poparli go Sam Altman i Elon Musk. Według relacji ABC News Altman
2026-09-14Rynek pracy AI w 2026. Rośnie popyt na wdrożeniaMaksim Ilin w przeglądzie rynku pracy AI w 2026 roku jobs market 2026 zestawia dane o zatrudnieniu, płacach i poszukiwanych umiejętnościach. Zwraca uwagę na rosnącą rolę ludzi, którzy potrafią połączyć modele z danymi i

Open the complete archive →