42ah6⁝ µP I Transfer Hyperparametrów

µP mówi: dobierz parametryzację tak, aby optymalne hyperparametry przenosiły się z małego modelu na duży. To jest bardzo istotne dla LLM, bo pozwala stroić małe proxy modele zamiast pełnych drogich runów

https://arxiv.org/abs/2505.23971

42ah⁝ Czy możemy zbudować teorię fizyki procesu uczenia, która przewiduje makroskopowe zachowania sieci?