Verfügbare Übersetzungen

Notizen

Notizen über KI, Sprachmodelle und Softwareentwicklung.

Archiv

Static HTML

Alle übersetzten Notizen

Alle Notizen sind unten als gewöhnliche HTML-Links verfügbar.

2026-10-07Sequence PackingDu trainierst ein Modell, kurze Antworten an Kunden zu schreiben: „Vielen Dank“, „Nein“ und „Ja“. Nach der Aufteilung in Textstücke, also Tokens, haben die Beispiele hier vereinfachend 3, 2 und 2 Positionen, einschließli
2026-10-05Reinforcement LearningDu möchtest einem Programm beibringen, ein kleines Spiel zu gewinnen. An einer Weggabelung kann es Weg A wählen, sofort zwei Münzen sammeln und die zweite Runde ohne neue Münzen beenden. Weg B gibt in der ersten Runde ni
2026-09-20Das Vorhersagen von Befehlsausgaben hilft beim späteren Training des AgentenEin Agent, der im Terminal arbeitet, versucht, ein Programm auszuführen. Er sendet einen Befehl, liest eine Fehlermeldung und wählt die nächste Aktion. Dabei muss er die Ausgabe mit dem vorherigen Befehl verknüpfen: erke
2026-09-20Loss MaskingDu trainierst einen Agenten anhand von Aufzeichnungen seiner Gespräche mit Werkzeugen. Die Aufzeichnung enthält seine Befehle und die Antworten der Werkzeuge. Du möchtest ihn für ausgewählte Abschnitte bewerten, ihm aber
2026-09-20pass@kEin Modell hat zehn Programme erstellt, von denen eines die Tests bestanden hat. Bedeutet das eine hohe Erfolgsquote für eine einzelne Antwort? Du musst „beim ersten Versuch gelungen“ von „unter vielen Versuchen einen Er
2026-09-20Continuous BatchingEin Server erzeugt zwei Antworten gleichzeitig. Eine endet schnell, die andere ist lang. Wenn der nächste Nutzer warten muss, bis das gesamte Paar fertig ist, bleibt der frei gewordene Platz viele Schritte lang ungenutzt
2026-09-20PagedAttentionEin Server bearbeitet Gespräche unterschiedlicher Länge. Wenn er für jedes im Voraus einen großen zusammenhängenden Speicherbereich für die gesamte künftige Antwort reserviert, bleibt ein Teil des Platzes ungenutzt. Du m
2026-09-20Prefix CachingDu stellst fünf Fragen zum selben langen Dokument. Jede Eingabe beginnt mit derselben Anweisung und dem Dokumenttext; erst am Ende steht die neue Frage. Den gleichen Anfang erneut zu berechnen würde Arbeit wiederholen. P
2026-09-20Zeit bis zum ersten TokenDu klickst auf „Senden“ und schaust auf einen leeren Chat. Für den Nutzerkomfort ist entscheidend, wann der Anfang der Antwort erscheint, auch wenn die gesamte Antwort deutlich länger braucht. Du benötigst eine Messung d
2026-09-18DecodeDas erste Fragment der Antwort ist bereits erschienen. Das nächste muss berücksichtigen, was gerade geschrieben wurde: Nach „Heute trinke ich Tee“ hat das Modell einen anderen Kontext als nach „Heute trinke ich Wasser“.
2026-09-18FlashAttentionAttention vergleicht viele Paare von Textfragmenten. Wenn alle Zwischenergebnisse in den großen Speicher der Rechenkarte geschrieben werden, kann die Datenübertragung teuer werden. Du möchtest dieselbe Berechnung ausführ
2026-09-18PrefillDu sendest eine lange Frage an den Chat und wartest auf das erste Wort. Bevor das Modell eine Antwort hinzufügt, muss es den bereits erhaltenen Inhalt verarbeiten. Diese anfängliche Phase kann viel Arbeit erfordern, beso
2026-09-18Speculative DecodingEin großes Modell erzeugt korrekten Text, ist aber langsam. Ein kleineres Modell kann schnell mehrere weitere Stücke vorschlagen. Du möchtest seine Arbeit nutzen und dabei die Kontrolle des großen Modells über das endgül
2026-09-18Beam SearchBei der Auswahl des ersten Antwortfragments kannst du einen Weg zu früh verwerfen, der sich später als besser erwiesen hätte. Alle möglichen Folgen zu prüfen ist jedoch zu teuer. Du brauchst eine begrenzte Menge an Alter
2026-09-18Greedy DecodingDas Modell kann mehrere unterschiedliche Fragmente hinzufügen. Die einfachste Wahl besteht darin, immer das mit der höchsten Wahrscheinlichkeit zu nehmen. Das erspart die Betrachtung von Alternativen, aber führt der best
2026-09-18Grouped-Query AttentionDas Modell liest früheren Text auf mehrere Arten parallel. Jede solche Berechnung ist ein Attention Kopf, also ein Aufmerksamkeitskopf. Du möchtest den Speicherbedarf dieser Köpfe verringern, aber die vollständige gemein
2026-09-18Multi-Query AttentionDas Modell verbindet das aktuelle Textfragment über mehrere parallele Berechnungen mit dem früheren Gespräch. Solche Berechnungen heißen Attention Köpfe, also Aufmerksamkeitsköpfe. Wenn jeder Kopf seine eigenen Beschreib
2026-09-18Rotary Position EmbeddingDas Modell vergleicht Textfragmente, muss aber auch wissen, wie weit sie voneinander entfernt liegen. „Gestern“ neben einem Verb kann eine andere Rolle spielen als dasselbe Wort in einem entfernten Zitat. Wie lässt sich
2026-09-16KL-DivergenzZwei Modelle verteilen die Wahrscheinlichkeiten unterschiedlich auf dieselben Antworten. Eines setzt 90% auf A und 10% auf B, das andere gibt beiden 50% . Du möchtest messen, wie gut das zweite die Vorhersagen des ersten
2026-09-16KV-CacheDas Modell ergänzt die Antwort Stück für Stück. Viele Informationen über den früheren Text hat es bereits berechnet; sie in jedem Schritt von Grund auf neu zu berechnen würde Arbeit wiederholen. Du möchtest die weiterhin
2026-09-16Top-k-SamplingBei der zufälligen Auswahl des nächsten Fragments lässt das Modell viele sehr unwahrscheinliche Möglichkeiten zu. Du möchtest etwas Vielfalt behalten, aber den fernen Rand der Kandidaten entfernen. Du kannst nur eine fes
2026-09-16Top-p-SamplingManchmal hat das Modell einen klaren Spitzenreiter, manchmal viele ähnlich bewertete Fortsetzungen. Stets fünf Kandidaten zuzulassen berücksichtigt diesen Unterschied nicht. Du möchtest die Gruppengröße danach wählen, wo
2026-09-16WissensdestillationEin großes Modell löst die Aufgabe gut, ist aber für den täglichen Einsatz zu teuer. Ein kleineres Modell könnte versuchen, sein Verhalten nachzubilden. Es braucht jedoch Beispiele oder Bewertungen, die mehr zeigen als n
2026-09-15KreuzentropieZwei Modelle nennen dasselbe Wort als beste Fortsetzung, aber das erste gibt ihm 80% Wahrscheinlichkeit, das zweite nur 20% . Den Gewinner allein zu prüfen übersieht diesen Unterschied. Beim Lernen brauchen wir eine Bewe
2026-09-15LoRADu hast ein großes Modell und möchtest es an den Stil deiner Dokumente anpassen. Alle seine Gewichte zu trainieren — Zahlen, die die Berechnungen steuern — erfordert viel Speicher. Lässt sich nur eine kleinere Korrektur
2026-09-15Maskierte SprachmodellierungDu möchtest ein Modell trainieren, das gesamte Satzumfeld zu nutzen. Du verdeckst ein Fragment in „Ala hat MASK “ oder „Ala MASK eine Katze“ und bittest um die Wiederherstellung des Originals. Informationen auf beiden Se
2026-09-15PerplexitätDu vergleichst zwei Modelle anhand desselben Textes. Du möchtest wissen, welches seine aufeinanderfolgenden Fragmente besser vorhersagt, und nicht nur, welches mehr einzelne Gewinner erraten hat. Du brauchst eine Zahl, d
2026-09-15TemperaturDas Modell wählt gewöhnlich ähnliche Fortsetzungen, und du möchtest die Vielfalt der Zufallsauswahl steuern. Du veränderst weder sein Wissen noch seine Gewichte. Du veränderst nur, wie stark der Vorsprung der höchstbewer
2026-09-14Autoregressive SprachmodellierungDu beginnst den Satz „Heute trinke ich …“. Nach dem Ergänzen von „Tee“ unterscheiden sich die Möglichkeiten der Fortsetzung von denen nach „Wasser“. Das Modell muss den bereits gewählten Text bei jedem weiteren Schritt b
2026-09-14Byte Pair EncodingEin Wörterbuch mit jedem möglichen Wort wäre riesig, und dennoch würden ständig neue Namen fehlen. Ein Wörterbuch nur mit Zeichen ist klein, verwandelt den Text aber in eine sehr lange Folge. Du brauchst einen Kompromiss
2026-09-14Fine-TuningEin trainiertes Modell kann Sprache verarbeiten, aber du möchtest, dass es Unternehmensnachrichten als „Rückgabe“, „Lieferung“ oder „Zahlung“ klassifiziert. Die allgemeine Fähigkeit ergibt noch nicht die erwartete Arbeit
2026-09-14Pre-TrainingDu möchtest, dass ein Modell Zusammenhänge in der Sprache erkennt, bevor du es an eine konkrete Arbeit anpasst, etwa das Klassifizieren von Kundennachrichten. Antworten für den gesamten Text von Hand vorzubereiten wäre n
2026-09-14SoftmaxDas Modell hat drei mögliche Satzfortsetzungen mit den Zahlen 2 , 1 und 0 bewertet. Du möchtest die Antwort nach ihren Wahrscheinlichkeiten ziehen. Rohe Bewertungen sind keine Wahrscheinlichkeiten: Sie können negativ sei
2026-09-14Cross-AttentionBeim Übersetzen hat das Modell zwei unterschiedliche Texte: das Original und die erst entstehende Antwort. Wenn es das nächste Wort der Übersetzung ergänzt, braucht es Informationen aus dem Original. Allein das Mischen d
2026-09-14Kausale MaskierungDu trainierst ein Modell, „eine Katze“ nach „Ala hat“ hinzuzufügen. Im fertigen Beispiel existiert „eine Katze“ bereits. Könnte das Modell bei der Vorhersage darauf zugreifen, wäre die Aufgabe scheinbar leicht, würde abe
2026-09-14Layer-NormalisierungDie nächste Schicht erhält die Beschreibung eines Fragments mit den Zahlen 2, 4 und eines anderen mit 20, 40 . Die Signalgröße kann stark variieren. Du möchtest die Berechnungen erleichtern, indem du die Zahlen innerhalb
2026-09-14Positionsweises Feed-Forward-NetzDas Modell hat für ein Fragment Informationen aus dem restlichen Satz gesammelt. Jetzt muss diese gesammelte Beschreibung verarbeitet werden: Merkmale verbinden und eine neue Repräsentation berechnen. Andere Positionen e
2026-09-14Token-EmbeddingDer Computer erhält eine Zahl, die ein Textfragment bezeichnet. Die Zahl 17 allein sagt ihm weder, was dieses Fragment ist, noch wie es mit anderen zusammenhängt. Er braucht eine nützliche numerische Beschreibung, die er
2026-09-13Quantisierungsfehler gleichen sich zwischen den Modellschichten teilweise ausDu möchtest ein Sprachmodell auf deiner eigenen Grafikkarte ausführen, aber seine Gewichte benötigen zu viel Speicher. Eine Lösung ist die Quantisierung nach dem Training: Die im fertigen Modell gespeicherten Zahlen werd
2026-09-13Quantisierung nach dem TrainingDu hast bereits ein trainiertes Modell, aber es benötigt zu viel Speicher, um auf dem gewählten Computer zu laufen. Ein großer Teil des Platzes entfällt auf die Zahlen, die seine Berechnungen steuern. Lassen sie sich mit
2026-09-13ResidualverbindungDas Modell verarbeitet die Textbeschreibung durch viele Schichten. Müsste jede Schicht die gesamte Information von Grund auf neu aufbauen, könnte das ihre Weitergabe leicht erschweren. Hilfreich ist, die Eingabe zu bewah
2026-09-13LM HeadDas Modell hat „Heute trinke ich“ verarbeitet und besitzt eine interne Beschreibung dieses Inhalts als Zahlenliste. Der Nutzer wartet jedoch auf Text. Wir brauchen den Übergang von der im Modell verborgenen Beschreibung
2026-09-13Multi-Head AttentionEine einzige Zusammenstellung von Informationen kann verschiedene Beziehungen im Satz zu stark vermischen. Beim Übersetzen können zugleich Verbindungen zwischen Personen, Zeit und grammatischer Form nützlich sein. Wir mö
2026-09-13PositionskodierungDu liest die Sätze „BMW hat Volvo überholt“ und „Volvo hat BMW überholt“. Sie enthalten genau dieselben Wörter, aber die Änderung der Reihenfolge vertauscht die Rollen der Autos. Wenn der Modellmechanismus nur Wortbeschr
2026-09-13Scaled Dot-Product AttentionDas Modell soll Informationen aus mehreren Satzfragmenten verbinden. Ein Fragment ist nützlicher, ein anderes weniger. Es braucht eine konkrete Methode zur Berechnung ihrer Anteile und zur anschließenden Zusammenstellung
2026-09-13Self-AttentionIm Satz „Anna legte das Buch weg, weil es schwer war“ erklärt das Wort „war“ allein wenig. Es muss mit früheren Fragmenten verbunden werden. Ein Modell zur Textverarbeitung braucht eine Methode, damit die Beschreibung ei
2026-09-13TransformerDu möchtest den Satz „Der Zug kommt morgen an“ übersetzen. Jedes Wort einzeln zu übersetzen genügt nicht: Die richtige Form hängt von anderen Wörtern und ihrer Reihenfolge ab. Das Modell braucht eine Methode zum Verbinde
2026-08-30Gleiche Rankingqualität, andere Entscheidungen nach einer Änderung der ReihenfolgeEin System, das Fragen anhand von Dokumenten beantwortet, arbeitet häufig in vier Schritten. Eine Suchmaschine findet Kandidaten, ein Scorer weist jedem eine Zahl für seine Nützlichkeit zu, ein Schwellenwert verwirft zu
2026-08-30Batched Pointwise ScoringDu hast eine Frage und drei gefundene Dokumente. Du möchtest jedem einen Nützlichkeitswert geben, aber drei getrennte Modellaufrufe wiederholen dieselbe Anweisung und Frage. Du kannst alle drei zusammen zeigen und um dre
2026-08-30nDCG@10Eine Suchmaschine liefert zehn Ergebnisse. Gute Dokumente können in der Liste enthalten sein, aber wenn das nützlichste erst an zehnter Stelle steht, erreicht der Leser es möglicherweise nicht. Du brauchst eine Bewertung
2026-08-30Order-Consistency SFTDu zeigst dem Modell dieselben Dokumente in zwei Reihenfolgen. Der Wert eines Dokuments verändert sich von 0,70 auf 0,60 . Wenn du anschließend Dokumente unterhalb eines Schwellenwerts verwirfst, kann allein das Umordnen
2026-08-29Interchange-AblationDu vermutest, dass eine bestimmte Verbindung im Modell Informationen über den Empfänger des Buches überträgt. Setzt du dort null ein, kannst du eine Situation erzeugen, die völlig von normalen Berechnungen abweicht. Du m
2026-08-29Kausaler SchaltkreisEin großes Modell enthält Tausende Elemente, aber eine konkrete Antwort kann aus einem kleineren Netz von Abhängigkeiten entstehen. Du möchtest prüfen, ob sich nur der wesentliche Berechnungsweg bewahren lässt und das un
2026-08-29Mechanistische InterpretierbarkeitDas Modell hat Maria im Satz „Jan gab Maria ein Buch“ als Empfängerin des Buches bestimmt. Die richtige Antwort sagt noch nicht, wie es dazu kam. Du möchtest prüfen, welche internen Berechnungen dieses Ergebnis tatsächli
2026-08-28Abstimmungen lügen. Abweichungen meist nichtAuf AIME 2026 ist das Pseudolabel aus der Abstimmung von Qwen3 1.7B bei ungefähr 85% der Aufgaben falsch. Trotzdem lässt sich daraus lernen, denn unter den Antworten, die vom Cluster abweichen, sind ungefähr 79% ebenfall
2026-08-28AktionssequenzEin Roboter, der durch eine Menschenmenge fährt, braucht mehr als den einzelnen Befehl „jetzt abbiegen“. Ein kurzer Plan aus mehreren Bewegungen kann die Absicht besser beschreiben: abbremsen, das Hindernis umfahren und
2026-08-28Behavioral CloningDu möchtest einem Roboter beibringen, Hindernisse zu umgehen, aber Verhaltensweisen von Grund auf zu suchen wäre teuer. Du hast Aufzeichnungen davon, was eine gute Steuerung in verschiedenen Situationen getan hat. Du kan
2026-08-28CREATE-PfadEin Agent findet das Skript eines anderen als Beispiel und schreibt darauf basierend sein eigenes Werkzeug. Das Beispiel enthält eine gefährliche Operation, die der Agent kopiert. Ein neuer Dateiname und Autor können daz
2026-08-28Diffusion PolicyEin Roboter soll einem Menschen ausweichen. Beide Wege, links und rechts, können gut sein, aber ihr Mittelwert würde direkt auf das Hindernis führen. Du brauchst ein Modell, das unterschiedliche konsistente Verhaltenswei
2026-08-28GRPODas Modell erstellt mehrere Lösungen derselben Aufgabe. Einige erhalten eine bessere Bewertung, andere eine schlechtere. Du möchtest die Wahrscheinlichkeit besserer Verhaltensweisen erhöhen, indem du Antworten innerhalb
2026-08-28On-Policy-SelbstdestillationDu möchtest ein Modell verbessern, hast aber keinen eigenen stärkeren Lehrer. Dasselbe Modell kann jedoch einen zusätzlichen Hinweis erhalten, etwa die Antwort im Aufgabentext. Kann seine besser informierte Version die V
2026-08-28PseudolabelDu hast viele Trainingsbeispiele, aber niemand hat die richtigen Antworten angegeben. Daher lässt du das Modell sie schätzen und nutzt diese Schätzungen als Hinweise für weiteres Lernen. Was gelangt dabei eigentlich in d
2026-08-28Sich selbst weiterentwickelnder AgentEin Agent hat ein nützliches Skript zur Projektprüfung geschrieben. Bei der nächsten ähnlichen Aufgabe beginnt er von vorn, obwohl das frühere Verfahren Arbeit sparen könnte. Du möchtest, dass die Erfahrung aus einer Auf
2026-08-28Signierte QuarantäneEin Agent speichert ein neues Werkzeug in der Bibliothek. Wird es sofort zum Muster für spätere Aufgaben, kann sich ein kopierter Fehler oder bösartiger Code weiter ausbreiten. Du brauchst eine Trennung zwischen dem Spei
2026-08-28Steuerung mit gleitendem HorizontDu planst mehrere Schritte, aber die Umgebung verändert sich schneller, als du den gesamten Plan ausführen kannst. Ein Roboter sieht, dass ein Fußgänger plötzlich abgebogen ist. Die alte Sequenz bis zum Ende auszuführen
2026-08-28Test-Time TrainingEin trainiertes Modell erhält eine Aufgabe anderer Art als jene, bei denen es gut funktionierte. Man kann ihm mehr Versuche mit denselben Einstellungen geben oder versuchen, seine Gewichte während der Arbeit an der neuen
2026-08-27Attention SinkStell dir ein Modell vor, das stundenlang ein Gespräch liest. Um den Speicher zu begrenzen, lassen wir ihm nur die letzten Fragmente. Bei manchen Modellen kann das Entfernen einiger anfänglicher Textstücke das Verhalten
2026-08-27Gleitendes FensterDas Modell erzeugt eine lange Antwort. Bei jedem weiteren Stück vergleicht es dieses mit dem früheren Text, sodass Arbeits und Speicheraufwand wachsen. Was wäre, wenn wir ihm nur den letzten Teil des Gesprächs zugänglich
2026-08-27Test-Time ScalingDas Modell beantwortet eine schwierige Aufgabe falsch. Statt sofort ein größeres Modell zu bauen, gibst du ihm mehr Zeit: Es kann mehrere Lösungen vorbereiten, vergleichen oder zusätzlich prüfen. Verbessert ein größeres
2026-08-26FrobeniusnormDu hast eine Gewichtstabelle mit Tausenden Zahlen und möchtest ihre Gesamtgröße mit einer einzigen Zahl beschreiben. Eine einfache Summe ist irreführend: 3 und −3 heben sich auf, obwohl beide Werte groß sind. Du brauchst
2026-08-26HyperballBeim Training verändert sich nicht nur, welche Verbindungen wichtig sind, sondern auch die Gesamtgröße ihrer Gewichte — Zahlen, die den Einfluss der Verbindungen auf das Ergebnis steuern. Du möchtest die Änderung der Ric
2026-08-26RMSNormEine Schicht erhält eine Liste großer Zahlen, eine andere deutlich kleinere Werte. Solche Skalenunterschiede können Berechnungen und Lernen erschweren. Du möchtest die Gesamtgröße des Signals vereinheitlichen und dabei d
2026-08-26SkaleninvarianzDu verdoppelst alle Zahlen in einem bestimmten Modellteil. Verändert das die Antwort? Manchmal entfernt die folgende Normalisierung die gemeinsame Skala und das Ergebnis bleibt gleich. In anderen Anordnungen verändert di
2026-08-26Verzögerte BeschleunigungDu vergleichst zwei Trainingsläufe. Im ersten begrenzt du das Wachstum der Gewichte, im zweiten nicht. Anfangs hat der erste ein schlechteres Ergebnis und erscheint deshalb als falsche Wahl. Gegen Ende kehrt sich die Sit
2026-08-26Weight DecayDas Modell passt sich immer besser an die Daten an, und die Gewichte — Zahlen, die Berechnungen steuern — entfernen sich von null. Du möchtest dieses Wachstum begrenzen, ohne Millionen Werte von Hand zu korrigieren. Du b
2026-04-26Edge of StabilityEdge of Stability Beim Training verbessert das Modell seine Gewichte in kleinen Schritten. Du erwartest, dass der Fehler ruhig abnimmt. In manchen Experimenten schwankt das Ergebnis jedoch, die lokalen Bedingungen wirken
2026-04-26GrokkingGrokking Das Modell beantwortet die Trainingsaufgaben fehlerfrei, irrt sich aber bei neuen Beispielen derselben Art. Es wirkt, als hätte es eine Antworttabelle auswendig gelernt. Das Training geht weiter, und erst deutli
2026-04-26Implizite Regularisierung durch HyperparameterImplizite Regularisierung durch Hyperparameter Zwei Modelle lernen mit denselben Beispielen und erreichen einen ähnlichen Trainingsfehler, aber eines kommt mit neuen Daten besser zurecht. Sie unterschieden sich nur im Tr
2026-04-26Kritische BatchgrößeKritische Batchgröße Du möchtest das Training beschleunigen, indem du dem Modell mehr Beispiele gleichzeitig zeigst. Anfangs hilft das. Ab einem gewissen Punkt verarbeitest du jedoch deutlich mehr Daten, während die Zahl
2026-04-26Neural Feature AnsatzNeural Feature Ansatz Das Modell erkennt ein Bild, aber wir wissen nicht, welche Änderungen der Eingabe die Antwort tatsächlich beeinflussen. Verstärken die gelernten Gewichte genau die Änderungsrichtungen, auf die das E
2026-04-26SkalierungsgesetzeSkalierungsgesetze Du hast ein Budget für das Modelltraining. Du kannst ein größeres Modell bauen oder einem kleineren mehr Text zeigen. Jede Kombination vollständig zu prüfen wäre teuer. Du brauchst eine Möglichkeit, de
2026-04-26µP und HyperparametertransferµP und Hyperparametertransfer Einen guten Lernschritt festzulegen erfordert Versuche. Für ein riesiges Modell ist jeder Versuch teuer. Lassen sich gute Einstellungen in einem kleinen Netz finden und nach der Vergrößerung
2026-04-16TokenökonomieTokenökonomie Die Tokenökonomie in LLMs Large Language Models umfasst Regeln, Strategien und Modelle, die beschreiben, wie Kosten, Verwaltung und Nutzung von Tokens — den grundlegenden Einheiten der Textverarbeitung — da
2026-04-15Test-Time ComputeTest Time Compute Das Modell soll ein schwieriges Problem lösen. Du kannst um einen kurzen Versuch bitten oder mehr Arbeit für Vorschläge und ihre Prüfung einplanen. Um diese Kosten zu beschreiben, brauchst du ein Rechen
2026-01-26Neural CollapseNeural Collapse Du trainierst ein Modell, Katzen, Hunde und Vögel auf Fotos zu erkennen. In seinem Inneren erhält jedes Foto eine Zahlenliste, die Merkmale beschreibt. Bleiben diese Beschreibungen nach erfolgreichem Trai
2025-01-01Tokenarten in LLMsTokens sind die grundlegenden Einheiten der Textverarbeitung in Sprachmodellen. Sie lassen sich nach Rolle, Sichtbarkeit und Funktion einteilen. 1. Einteilung nach dem Verarbeitungsfluss Typ Beschreibung Kostenpflichtig?
2024-01-01TokenToken Du fügst einen Satz in den Chat ein, und der Zähler zeigt mehr als zehn Einheiten. Warum nicht genauso viele wie Wörter? Der Computer braucht eine festgelegte Art der Textaufteilung, die auch seltene Namen, Satzzei