Eine erneute Prüfung derselben Tage beantwortet diese Frage nicht. Die flexible Regel könnte sich auch an Zufälle angepasst haben, etwa an eine ungewöhnlich große Reisegruppe bei 22°C. Bevor du eine Regel auswählst, legst du andere Tage zum Vergleich der Kandidaten beiseite. Validation Set ist ein gesonderter Teil der Daten, der zur Auswahl eines Modells oder seiner Einstellungen dient, statt dessen gelernte Zahlen anzupassen. Diese Trennung beschreiben Goodfellow, Bengio und Courville, Deep Learning, §5.3.

Ein Notizbuch zum Lernen, andere Tage zur Auswahl

Die Regeln und ihre Zahlen legen wir ausschließlich anhand der Trainingsdaten fest. Die Gerade sagt das Doppelte der Temperatur minus 20 voraus. Die Kurve ist ein Bogen, der an die drei Punkte im Notizbuch angepasst wurde. Mittlerer absoluter Fehler bedeutet hier: Berechne für jeden Tag, um wie viele Portionen die Vorhersage danebenliegt, ignoriere das Vorzeichen und bilde den Durchschnitt.

An den beiseitegelegten Tagen mit 21°C, 23°C und 25°C wurden 23, 25 beziehungsweise 31 Portionen verkauft. Die Kurve sagt 26,5, 30,5 und 22,5 voraus; ihr mittlerer Fehler beträgt etwa 5,83 Portionen. Die Gerade sagt 22, 26 und 30 voraus: Ihr Fehler beträgt 1 Portion. Deshalb wählen wir die Gerade, obwohl sie im Notizbuch mit 2 zu 0 verlor. Das Validation Set hat keine Regel verbessert; es hat bei der Auswahl unter drei Regeln geholfen. Die Daten sind erfunden. Vorhersagen mit Bruchteilen meinen den erwarteten Absatz, nicht das Aufteilen einer Portion.

Nach der Auswahl braucht es noch eine abschließende Bewertung

Die zur Auswahl verwendeten Tage haben die Entscheidung bereits beeinflusst. Ein dritter, überschneidungsfreier Teil der Daten, das test set, dient deshalb erst zur Bewertung der festgelegten Lösung. Im Beispiel liegt die Gerade an zwei zuvor verdeckten Tagen im Durchschnitt um 1 Portion daneben. Änderst du nach diesem Ergebnis die Regel, dienen diese Tage ebenfalls der Auswahl; sie verlieren ihre Rolle als unabhängiger Test (§5.3).

Das ist eine wichtige Einschränkung: Nach vielen Versuchen kann sich die Auswahl an das Validation Set selbst anpassen und ein zu optimistisches Ergebnis liefern. Die drei beiseitegelegten Tage sind hier nur eine Lernhilfe, keine verlässliche Bewertung tatsächlicher Verkäufe. Kein festgelegter Prozentsatz für die Aufteilung garantiert eine gute Messung.

• Overfitting beschreibt eine übermäßige Anpassung an Trainingsbeispiele; gesonderte Daten helfen, die Wirkung zu erkennen.
• Fine-tuning ist das weitere Training eines vorhandenen Modells; ein Validation Set kann zur Wahl der Einstellungen dienen.
• Cross-entropy ist eine andere Art der Fehlermessung, die häufig bei Textvorhersagen verwendet wird; die Trennung der Datenrollen bleibt gleich.

Text und Illustration wurden mit KI-Unterstützung erstellt. Daten, Regeln und Demonstration sind ein eigenes vereinfachtes Beispiel; die Illustration ist eine Metapher für die Auswahl und das Aufbewahren einer gesonderten Probe.

Die einfachste Regel ist eine gerade Linie: „Jedes Grad mehr bedeutet ein paar Kugeln mehr“. Im Beispiel aus dieser Notiz liegt sie an den notierten Tagen typischerweise um 27,5 Kugeln daneben, weil sie nicht sieht, dass der Verkauf bei der größten Hitze zurückgeht. Man kann der Regel also mehr Freiheit geben und der Kurve erlauben, sich zu biegen. Die flexibelste der ausprobierten Kurven geht genau durch alle 10 Punkte. Ihr Fehler an den Tagen aus dem Heft beträgt 0.

Das sieht nach einer perfekten Regel aus. Nur sind die Tage aus dem Heft schon vorbei, und die Regel soll morgen funktionieren. An 400 neuen Tagen desselben Eisstands liegt die „perfekte“ Kurve typischerweise um 236,5 Kugeln daneben. Eine mäßig flexible Kurve, die im Heft schlechter abschnitt (10,9), liegt an neuen Tagen um 16,8 daneben.

Overfitting ist die Situation, in der ein Modell einen kleinen Fehler auf den Daten hat, mit denen es gelernt hat, und einen im Vergleich dazu zu großen Fehler auf neuen Daten derselben Art (Goodfellow, Bengio und Courville, Deep Learning, §5.2). Das Modell hat sich an Eigenschaften seines Datensatzes angepasst, die sich außerhalb davon nicht wiederholen. Das umgekehrte Problem heißt underfitting: Die Regel ist zu einfach, um auch nur die Daten gut zu beschreiben, die sie gesehen hat. So verhält sich die gerade Linie aus unserem Beispiel.

Woher dieser Unterschied kommt

Jeder Eintrag im Heft besteht aus zwei Dingen: aus einer Regelmäßigkeit (wärmer, also mehr Eis) und aus Zufall (gerade ist eine Reisegruppe angekommen). Die Regel soll das Erste erfassen und das Zweite weglassen. Das Modell weiß aber nicht, was was ist. Es sieht nur Punkte.

Wie viel Zufall das Modell aufnimmt, entscheidet seine Flexibilität, in der Fachliteratur capacity genannt: die Fähigkeit, sich an viele verschiedene Formen anzupassen. Die Kurve im Beispiel wird durch 2 bis 10 Zahlen beschrieben, die an die Daten angepasst werden; ihre Anzahl ist der Grad der Kurve plus eins. Eine Kurve vom Grad 9 hat 10 solche Zahlen für 10 Tage, sie kann also jeden Punkt treffen, mitsamt dem ganzen Zufall. Die Autoren des Lehrbuchs beschreiben es so: Ein sehr flexibles Modell kann den richtigen Zusammenhang darstellen, aber auch eine Menge anderer, die genauso gut zu den Trainingsdaten passen, und die Chance ist klein, dass es gerade den auswählt, der sich später bewährt (§5.2).

Der typische Verlauf ist folgender: Wenn die Flexibilität wächst, sinkt der Fehler auf den Trainingsdaten, und der Fehler auf neuen Daten sinkt zuerst und beginnt dann zu steigen (§5.2, Abbildung 5.3). Daraus folgt eine praktische Regel. Ein Modell bewertet man nicht auf den Daten, mit denen es gelernt hat, und die Flexibilität wählt man nicht nach dem Fehler auf diesen Daten, denn der zeigt immer auf die größte. Einen Teil der Daten legt man beiseite: Das validation set dient zur Wahl der Einstellungen und ein eigenes test set zur abschließenden Bewertung (§5.3).

Probier es selbst aus

Unten ist derselbe Eisstand. Alle Zahlen aus dieser Notiz lassen sich nachstellen: Nach einem Klick auf „Von vorn“ siehst du 10 Tage, und die Experimente 1–5 stellen die beschriebenen Fälle ein.

Es lohnt sich, zwei Dinge zu tun, die ein statisches Diagramm nicht zeigt. Erstens: Schalte „24 andere Hefte“ ein und ändere den Grad: Bei einem niedrigen bleiben die grauen Linien nah beieinander, bei einem hohen laufen sie in alle Richtungen auseinander, obwohl jede vom selben Eisstand stammt. Zweitens: Zieh einen Punkt weit nach oben. Die Kurve vom Grad 2 verschiebt sich nur ein wenig, die Kurve vom Grad 9 baut sich dagegen auf ganzer Länge um, um ihn zu treffen.

Was hilft

• Mehr Daten. Bei 80 Tagen liegt dieselbe Kurve vom Grad 9 typischerweise um 14,8 Kugeln im Heft und um 15,9 an neuen Tagen daneben. Der Unterschied verschwindet fast, weil die Kurve nicht mehr jeden Punkt treffen kann (§5.2).
• Weniger Flexibilität. Kurve vom Grad 3 bei 10 Tagen: 10,9 im Heft, 16,8 an neuen Tagen.
• Regularization, also eine Änderung der Lernweise, die den Fehler auf neuen Daten verringern soll und nicht den auf den Trainingsdaten (§5.2.2). Ein Beispiel ist eine Strafe für große Koeffizienten, verwandt mit Weight decay: Die Kurve vom Grad 9 mit der Strafe λ = 0,01 liegt um 5,8 im Heft und um 21,2 an neuen Tagen daneben, statt um 236,5.

Keine dieser Einstellungen lässt sich wählen, wenn man nur auf den Fehler auf den Trainingsdaten schaut.

Einschränkungen

• Das ist ein eigenes Beispiel mit einer einzigen Eingangsgröße und simulierten Daten. Der Zufall allein ergibt hier typischerweise 15 Kugeln Fehler, und keine Regel kommt an neuen Tagen darunter.
• Die Form „erst besser, dann schlechter“ ist typisch, aber nicht garantiert. Die Autoren merken an, dass es bei tiefen Netzen schwer ist, die tatsächliche Flexibilität eines Modells überhaupt zu bestimmen, weil sie auch vom Lernalgorithmus abhängt (§5.2). Die Zahl der Parameter eines LLM sagt also für sich allein nicht, ob das Modell überangepasst ist.
• Ein kleiner Fehler auf neuen Daten gilt für Daten aus derselben Quelle. Wenn der Eisstand ans Meer umzieht, verspricht das Heft aus der Stadt nichts.

Verbindungen

• Weight decay begrenzt die Größe der Gewichte und ist eine der Möglichkeiten, den Unterschied zwischen dem Fehler auf Trainingsdaten und auf neuen Daten zu verringern.
• Grokking beschreibt Fälle, in denen ein Modell, das überangepasst wirkt, nach langem weiterem Training anfängt, auf neuen Daten gut zu funktionieren.
• Fine-tuning auf einem kleinen Datensatz verlangt dieselbe Kontrolle: eigene Daten, die das Modell beim Lernen nicht gesehen hat.
• Catastrophic Forgetting [Polski] ist ein anderes Problem: Dort verliert das Modell eine alte Fähigkeit nach neuem Lernen, hier überträgt es sich von Anfang an schlecht über die eigenen Trainingsdaten hinaus.

Für die 50-%-Variante sammeln wir gelungene und misslungene Versuche des Agenten bei Aufgaben mit unterschiedlichen menschlichen Bearbeitungszeiten. Wir passen eine Kurve der Erfolgschance an und lesen dann die Zeit ab, bei der sie 50 % schneidet. Das ist eine Vorhersage für die Verteilung der Aufgaben mit einer bestimmten Dauer; es bedeutet nicht, dass jede von ihnen dieselbe Chance hat, gelöst zu werden. METR: Definition und Methodik.

Ein Lehrbeispiel: Erreicht die angepasste Kurve 50 % bei zwei Stunden, dann beträgt der Horizont zwei Stunden. Der Agent kann eine gelungene Aufgabe deutlich schneller erledigen. Das Ergebnis allein sagt auch nicht, mit welcher Erfolgsquote er eine Aufgabe aus einem anderen Gebiet löst.

Das Ablesen setzt einen sinnvollen Zusammenhang zwischen der menschlichen Bearbeitungszeit und der Schwierigkeit für die KI voraus. Ist die Kurve flach, kann eine kleine Änderung der Chance ihren Schnittpunkt mit der Schwelle weit verschieben. Der Artikel über die Umrechnung des METR-Horizonts zeigt dieses Problem an einem nachrechenbaren Beispiel und bespricht eine neue Anpassung an die METR-Daten. Nguyen und Fithian, §2–3.

Beim Vergleich von Horizonten müssen die Angaben zum Aufgabensatz, zur Umgebung des Agenten, zum Budget an Versuchen und zur gewählten Erfolgsschwelle erhalten bleiben.

Angenommen, zwei Agenten lösen dieselben drei Aufgaben. Der erste kommt meist mit A und B zurecht, der zweite auch mit C. Die Erfolgsquote allein ergibt eine Rangfolge. IRT versucht zusätzlich zu schätzen, wie schwer C im Vergleich zu den übrigen Aufgaben ist und welcher Fähigkeitsunterschied das Antwortmuster erklärt. Das ist ein Lehrbeispiel; eine so kleine Tabelle reicht für eine verlässliche Anpassung nicht aus.

Im einfachen Rasch-Modell steigt die Erfolgschance, wenn die Fähigkeiten des Agenten im Verhältnis zur Schwierigkeit der Aufgabe größer sind. Beide Größen sind latent: Wir schließen aus den Ergebnissen auf sie, statt die Schwierigkeit von vornherein mit der Länge der Anweisung oder der menschlichen Bearbeitungszeit gleichzusetzen. Verschiedene IRT-Varianten fügen weitere Parameter und Annahmen hinzu.

In der Analyse der METR-Horizonte verknüpfen die Autoren die latente Schwierigkeit über eine gelernte Kurve mit der menschlichen Arbeitszeit. Sie ergänzen Effekte von Aufgabenfamilien und die Streuung der Ergebnisse zwischen Wiederholungen. So lässt sich prüfen, in welchem Bereich die Zeit tatsächlich zwischen Aufgaben unterscheidet, die für die KI schwer oder leicht sind. Nguyen und Fithian, §2.3 und §3.1.

Eine gute Vorhersage der Antworten beweist nicht, dass der gelernte Parameter alle Arten von Fähigkeiten eines Agenten erfasst. Bei der Interpretation müssen die Modellannahmen und die Ergebnisse bei Aufgaben geprüft werden, die bei der Anpassung nicht verwendet wurden.

Man kann das Modell ohne jede Einschränkung auf Reklamationen trainieren. Dann verschieben sich die Gewichte dorthin, wo es der neuen Aufgabe hilft, auch jene, von denen das Erkennen von Lieferung und Rücksendungen abhing. Man kann auch jede Änderung gleich stark bestrafen, aber dann hält das Modell so fest an den alten Einstellungen, dass es das Neue nur schlecht lernt. Nötig ist eine Antwort auf die Frage: Welche Gewichte darf man bewegen und welche besser nicht?

Elastic Weight Consolidation (EWC) fügt dem Lernen der neuen Aufgabe eine Strafe dafür hinzu, dass sich die Gewichte von ihren Werten nach der alten Aufgabe entfernen; die Strafe ist umso größer, je wichtiger das jeweilige Gewicht für die alte Aufgabe war. Die Autoren vergleichen das mit einer Feder, die an jedem Gewicht befestigt ist: steif bei wichtigen Gewichten, locker bei den übrigen (Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §2).

Zwei Gewichte, eine neue Aufgabe

Nehmen wir nur zwei Gewichte. Nach dem Lernen von Lieferung und Rücksendungen haben beide den Wert 1. Das erste ist für die alten Abteilungen sehr wichtig (Wichtigkeit 10), das zweite nahezu gleichgültig (Wichtigkeit 0,1). Die neue Aufgabe verlangt lediglich, dass die Summe beider Gewichte 4 beträgt. Das erfüllen viele Einstellungen: (2, 2), aber auch (1, 3).

• Ohne Schutz verschiebt das Lernen beide Gewichte gleich weit, auf (2, 2). Die neue Aufgabe ist gelernt, aber das wichtige Gewicht ist um 1 abgewandert, und der Verlust bei der alten Aufgabe steigt von 0 auf 5,05.
• Eine gleiche Strafe für beide Gewichte hält sie auf halbem Weg an, bei (1,67, 1,67). Die alte Aufgabe leidet weniger, aber die Summe beträgt 3,33 statt 4.
• EWC verlagert fast die gesamte Bewegung auf das wenig wichtige Gewicht: (1,02, 2,80). Die Summe beträgt 3,82, und der Verlust bei der alten Aufgabe liegt bei nur 0,16.

Der Verlust ist eine Zahl, die angibt, wie stark sich das Modell irrt; je kleiner, desto besser. Im Experiment unten kannst du die Stärke der Strafe λ und die Art des Schutzes ändern. Das Ergebnis wird für genau dieses Beispiel mit zwei Gewichten exakt berechnet; es ist keine Simulation eines echten Netzes.

Woher man weiß, welches Gewicht wichtig ist

In einem echten Netz gibt niemand die Wichtigkeit vor. Man schätzt sie nach Abschluss der alten Aufgabe, solange deren Daten noch verfügbar sind: Man prüft, wie stark eine kleine Änderung eines Gewichts die Antworten des Modells auf die alten Beispiele verändert. Die Arbeit verwendet dafür die Diagonale der Fisher-Informationsmatrix, also eine Wichtigkeitszahl pro Gewicht. Danach können die Daten gelöscht werden; es bleiben die alten Werte der Gewichte und ihre Wichtigkeiten.

Beim neuen Lernen wird die Summe zweier Bestandteile minimiert (Gleichung 3 der Arbeit):

$L_B$ ist der Verlust bei der neuen Aufgabe, $\theta_i$ der aktuelle Wert des Gewichts Nummer $i$, $\theta^*_{A,i}$ sein Wert nach der alten Aufgabe, $F_i$ seine Wichtigkeit, und $\lambda$ gibt an, wie stark die alte Aufgabe gegenüber der neuen zählt. In unserem Beispiel gilt $F = (10;\ 0{,}1)$ und $\lambda = 1$.

Grenzen der Methode

Die Wichtigkeit ist eine Näherung, die an einem einzigen Punkt und für jedes Gewicht getrennt berechnet wird. Die Autoren selbst zeigen, dass ihre Schätzung mitunter zu sicher darin ist, welche Gewichte unwichtig sind, und nennen das die Hauptschwäche der Methode (§2.2 und §3). In ihren Experimenten mit Atari-Spielen lernte ein Agent mit EWC viele Spiele nacheinander, reichte aber nicht an getrennte Netze heran, die für jedes Spiel einzeln trainiert wurden. Die Ergebnisse betreffen die Erkennung von Ziffern und Spiele, nicht große Sprachmodelle. Unsere zwei Gewichte und die Kundennachrichten sind eine eigene Vereinfachung.

• Catastrophic Forgetting [Polski] ist eine erhebliche Verschlechterung früherer Fähigkeiten nach neuem Lernen; EWC versucht, sie ohne Zugriff auf die alten Daten zu verringern.
• Experience Replay löst dasselbe Problem anders: Es speichert einen Teil der früheren Beispiele statt der Wichtigkeiten der Gewichte.
• Continual Learning bezeichnet das Ziel, also das Lernen weiterer Aufgaben unter Erhalt der früheren; EWC ist eine der Methoden.
• Fine-tuning ist das weitere Training eines fertigen Modells; EWC verändert dessen Ziel, indem es eine Strafe für das Bewegen wichtiger Gewichte hinzufügt.

Text und Illustration wurden mit KI-Unterstützung erstellt. Die zwei Gewichte, ihre Wichtigkeiten und die Demonstration sind ein eigenes vereinfachtes Lernbeispiel; die Illustration ist eine Metapher, kein Schema der Modellarchitektur.

Die ersten vier behalten? Dann kennt der Speicher nur den Anfang. Immer die letzten vier behalten? Dann kennt er nur das Ende. Eine faire Auslosung „vier aus allen“ würde verlangen, alles zu speichern oder die Zahl der Nachrichten im Voraus zu kennen. Die Frage lautet: Wie gibt man bei fester Zahl von Plätzen und unbekannter Länge des Stroms jeder Nachricht dieselbe Chance?

Reservoir Sampling ist ein Verfahren, mit dem man während eines einzigen Durchgangs durch Daten, deren Anzahl wir nicht im Voraus kennen, eine Zufallsstichprobe fester Größe führt. Nach jeder weiteren Nachricht enthält der Speicher, hier Reservoir genannt, eine faire Zufallsstichprobe von allem, was bis dahin eingetroffen ist. Die einfachste Version, Algorithm R, beschreibt Vitter, Random Sampling with a Reservoir, §2 und schreibt sie Alan Waterman zu.

Das Rezept in zwei Schritten

1. Die ersten vier Nachrichten kommen ohne Auslosung in den Speicher.
2. Die Nachricht Nummer $t$ (die fünfte, die sechste und jede weitere) gelangt mit der Chance $4/t$ in den Speicher. Gelangt sie hinein, ersetzt sie eine der vier gespeicherten, die zufällig ausgewählt wird.

Die fünfte Nachricht kommt also mit der Chance 4/5 hinein, die hundertste mit der Chance 4/100. Neue Nachrichten haben eine immer kleinere Chance hineinzukommen, aber die alten waren schon viele Male der Gefahr ausgesetzt, hinausgeworfen zu werden, und diese beiden Effekte gleichen sich genau aus. Prüfen wir das nach der fünften Nachricht. Sie kommt mit der Chance 4/5 hinein. Die erste Nachricht fällt nur dann heraus, wenn die fünfte hineingekommen ist (4/5) und ausgerechnet ihren Platz getroffen hat (1/4), also mit der Chance 1/5. Sie bleibt mit der Chance 4/5: derselben, die auch die fünfte hat. Nach $t$ Nachrichten ist jede von ihnen mit der Chance $4/t$ im Speicher.

Gleiche Chance ist keine Garantie

Im Experiment hat der Strom 20 Nachrichten. Achtzehn betreffen die Lieferung, und zwei, die neunte und die fünfzehnte, betreffen Rücksendungen. Jeder Start lässt einen solchen Strom 2000-mal durchlaufen und zählt, wie oft eine Position am Ende im Speicher geblieben ist. Die Auslosungen sind echt, daher weichen die Ergebnisse jedes Mal um den Bruchteil eines Prozents voneinander ab.

Bei Reservoir Sampling liegt jeder Balken bei etwa 20%, also 4/20. Zugleich bleibt in den meisten Durchläufen keine der beiden Rücksendungen im Speicher. Der genaue Wert ist 3060/4845, also etwa 63%: So viele von allen Vierergruppen, die sich aus 20 Nachrichten auswählen lassen, bestehen ausschließlich aus den achtzehn Nachrichten zur Lieferung. Das Verfahren ist fair gegenüber einzelnen Nachrichten, achtet aber nicht darauf, dass jede Kategorie einen Vertreter hat.

Wo das eine Rolle spielt

Beim Lernen mit Wiederholungen dient Reservoir Sampling mitunter als Verfahren zum Schreiben in den Puffer: Man muss weder die Länge des Stroms noch die Grenzen zwischen den Aufgaben kennen. Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, Algorithmus 2 verwenden es genau so. In ihren Experimenten mit Bildaufgaben bewährte es sich gut, außer bei sehr kleinen Speichern, bei denen frühere Klassen aus dem Puffer verschwanden; besser schnitten dann Strategien ab, die auf eine gleichmäßige Vertretung der Klassen achten (§4.4). Das ist ein Ergebnis für die Bildklassifikation, nicht für LLMs.

Der Algorithmus selbst betrifft nicht das maschinelle Lernen. Vitters Arbeit von 1985 beschreibt das zufällige Auswählen von Datensätzen von einem Magnetband unbekannter Länge und schlägt schnellere Varianten vor, die nicht bei jedem Datensatz losen, sondern berechnen, wie viele Datensätze zu überspringen sind. Die Kundennachrichten und der Strom mit 20 Positionen sind ein eigenes Beispiel.

• Experience Replay braucht einen Puffer mit früheren Beispielen; Reservoir Sampling ist eine der Möglichkeiten zu entscheiden, was hineinkommt.
• Continual Learning geht vom Lernen aus einem Datenstrom bei begrenztem Speicher aus, also von einer Situation, in der sich nicht alles aufbewahren lässt.
• Catastrophic Forgetting [Polski] kann sich verstärken, wenn aus einem kleinen Speicher alle Beispiele einer früheren Kategorie herausfallen.

Text und Illustration wurden mit KI-Unterstützung erstellt. Der Nachrichtenstrom und die Demonstration sind ein eigenes vereinfachtes Lernbeispiel; die Illustration ist eine Metapher, kein Schema des Algorithmus.

Experience Replay (ER) bedeutet, einen Teil früherer Beispiele zu speichern und erneut zum Lernen zu verwenden. In einer einfachen Variante mischen wir Beispiele aus dem Speicher in eine Portion neuer Daten. Dieser Speicher heißt replay buffer: ein Behälter für Übungsdaten, kein Verzeichnis des gesamten Modellwissens. Dieses gemeinsame Training beschreiben Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, Algorithmus 1.

Was in die nächste Übung kommt

Bevor das Archiv verloren ging, speicherten wir vier Nachrichten zusammen mit den richtigen Abteilungen. Jetzt haben wir vier neue Reklamationen. Ohne Wiederholungen lernt das Modell anhand von vier neuen Nachrichten. Mit Wiederholungen übt es zusätzlich mit vier alten: Es erhält erneut das Signal, dass „Wo ist mein Paket?“ zur Lieferung gehört. In diesem kleinen Beispiel verwenden wir den gesamten Puffer; größere Puffer liefern gewöhnlich eine zufällig ausgewählte Portion.

Es reicht jedoch nicht, Speicherplätze zu zählen. Vier gespeicherte Lieferfragen enthalten kein einziges Beispiel für Rücksendungen. Ersetzen wir zwei davon durch „Wie schicke ich meinen Einkauf zurück?“ und „Ich möchte ein T-Shirt zurückgeben“, bleibt die Zahl der wiederholten Beispiele gleich, umfasst aber beide früheren Abteilungen. Das folgende Experiment zählt Beispiele in einer Datenportion; es sagt die Treffergenauigkeit des Modells nicht voraus.

Wiederholungen helfen nur mit verfügbaren Daten

Das Modell erhält Gelegenheit, frühere Antworten zu üben, aber keine Garantie, sämtliche Fähigkeiten zu behalten. Eine kleine Zufallsstichprobe kann eine seltene Kategorie vollständig auslassen; dieses Problem beobachteten die Forschenden bei sehr kleinen Puffern (§4.4 derselben Arbeit). Unsere Nachrichten sind ein eigenes Beispiel, kein Ergebnis dieser Experimente. Die Wirkung des Trainings muss anhand getrennter alter und neuer Nachrichten geprüft werden, die nicht zum Training verwendet wurden. Der Puffer belegt zudem Speicher und erfordert, ausgewählte Daten aufzubewahren.

Siehe auch: Reservoir Sampling — ein Verfahren, das entscheidet, welche Beispiele aus dem Datenstrom in einen Puffer fester Größe gelangen, und jedem die gleiche Chance gibt.

In Spielen, beim Reinforcement Learning — dem Erlernen von Handlungen anhand von Belohnungen — speichert man eine Situation, eine Handlung, eine Belohnung und die nächste Situation. Die zufällige Auswahl solcher Einträge verringert die Abhängigkeit von unmittelbar aufeinanderfolgenden Ereignissen (Mnih et al., Human-level control through deep reinforcement learning, Methods, „Training algorithm for deep Q-networks“). Das sind andere Daten als eine Nachricht mit ihrer richtigen Abteilung; Atari-Ergebnisse sollten nicht unmittelbar auf LLMs übertragen werden.

• Continual Learning bezeichnet das Ziel, weiterzulernen und frühere Fähigkeiten zu behalten; ER ist ein Weg dorthin.
• Catastrophic Forgetting [Polski] beschreibt eine erhebliche Verschlechterung früherer Fähigkeiten, die Wiederholungen verringern können.
• Fine-tuning ist das weitere Training eines Modells; replay verändert die Auswahl seiner Trainingsdaten. Alte Nachrichten lediglich in ein Gespräch einzufügen, ist keine solche Modellaktualisierung.

Text und Illustration wurden mit KI-Unterstützung erstellt. Nachrichten und Demonstration sind ein eigenes vereinfachtes Lernbeispiel; die Illustration ist eine Metapher, kein Schema der Modellarchitektur.

Du musst dem Modell Neues beibringen und dabei frühere Fähigkeiten erhalten. Das ist das Ziel von Continual Learning: aus nacheinander eintreffenden Daten oder Aufgaben zu lernen und dabei zu berücksichtigen, was das Modell bereits gelernt hat. Der Name bezeichnet ein Problem und eine Familie von Ansätzen; er garantiert nicht, dass das Vergessen ausbleibt. Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §1 beschreiben diesen Bedarf.

Was sich beim Training und bei der Bewertung ändert

Nehmen wir an, das vollständige Archiv der Beispiele aus dem früheren Training ist nicht mehr verfügbar. Vor dem Löschen haben wir eine kleine Stichprobe aufbewahrt: 20 Nachrichten, deren richtige Abteilungen bekannt sind. Eine mögliche Methode mischt diese Stichprobe unter die neuen Reklamationsbeispiele. So erhält das weitere Training auch ein Signal, „Wo ist mein Paket?“ weiterhin richtig zu bearbeiten. Die erneute Verwendung früherer Beispiele ist eine der Strategien bei van de Ven und Tolias, Three scenarios for continual learning, §3.3.

Siehe auch: Experience Replay — eine kleine Stichprobe früherer Beispiele aufbewahren und sie dem neuen Training beimischen.

Das Bewertungsteam bewahrt einen gesonderten Test mit alten Nachrichten auf, den wir nicht zum Training verwenden. Nach jeder Aktualisierung prüfen wir alte und neue Kategorien. Die folgenden Zahlen sind ein erfundenes Beispiel, keine Forschungsergebnisse; jeder Test enthält 100 Nachrichten.

Die letzte Variante erhält die frühere Fähigkeit besser, erkennt Reklamationen aber schlechter als die zweite. Die Tabelle zeigt, was zu vergleichen ist; sie verspricht dieses Ergebnis nicht allein durch das Hinzufügen von 20 Beispielen.

Die Bedingungen verändern die Schwierigkeit

In unserem Beispiel wählt das Modell selbst zwischen allen bisher gelernten Abteilungen. Ein Hinweis wie „diese Nachricht gehört zur neuen Kategorie“ würde den Test erleichtern. Ob solche Hinweise und Grenzen zwischen Aufgaben verfügbar sind, ist beim Methodenvergleich wichtig (van de Ven und Tolias, §2–2.3). Eine kleine Stichprobe kann seltene Fragen auslassen; ein guter Durchschnitt beweist nicht, dass jede Fähigkeit erhalten geblieben ist.

• Catastrophic Forgetting [Polski] beschreibt eine erhebliche Verschlechterung früherer Fähigkeiten; die Demonstration zeigt, wie neues Training gemeinsame Einstellungen verändert.
• Fine-tuning bedeutet, ein Modell mit ausgewählten Beispielen weiterzutrainieren. Nach aufeinanderfolgenden Trainings prüfen wir auch frühere Fähigkeiten.
• Knowledge Distillation kann Hinweise von einem älteren Modell an das aktualisierte Modell weitergeben; das ist eine andere Strategie als das Aufbewahren der ursprünglichen Nachrichten (§3.3 der Arbeit von van de Ven und Tolias).

Text und Illustration wurden mit KI-Unterstützung erstellt; die Nachrichten, die Größe der Stichprobe und die Tabellenergebnisse sind ein eigenes Lehrbeispiel. Die Illustration zeigt das Ziel, frühere Fähigkeiten zu erhalten, nicht den Aufbau des Modells.

Sequence Packing ordnet mehrere Beispiele in einer Eingabefolge an, um das Padding beim Training zu verringern. In unserem Beispiel passen alle drei in eine einzige Zeile mit acht Positionen: sieben Plätze mit Daten, einer leer. Es sind keine neuen Antworten entstanden; ihre Anordnung hat sich geändert. Diese Rolle beschreibt die TRL-Dokumentation 0.29.0, SFT Trainer, Abschnitt „Packing“.

Acht Plätze sind eine eigene Vereinfachung, keine voreingestellte Zeilengröße in TRL. Ein gewöhnlicher Batch kann nur auf die Länge des längsten Textes aufgefüllt werden; das Gruppieren ähnlicher Längen verringert ebenfalls ungenutzten Platz. Bereits Attention Is All You Need, §5.1, beschreibt diese Gruppierung. Die Zahl leerer Plätze allein bestimmt die Beschleunigung nicht: Sie hängt auch von der Ausführung der Berechnungen ab.

Eine gemeinsame Zeile muss kein gemeinsames Gespräch sein

Du möchtest, dass „Nein“ ein unabhängiges Beispiel bleibt und keine Fortsetzung von „Vielen Dank“ wird. Die Endmarkierung selbst ist nur ein Token. Die gewöhnliche Sperre des Blicks in die Zukunft — Causal Masking — erlaubt späterem Text weiterhin, früheren Text derselben Zeile zu lesen.

Um die Unabhängigkeit zu bewahren, müssen die Berechnungen die Beispielgrenzen kennen und den Zugriff über diese Grenzen hinweg blockieren. Die Fehlerbewertung muss separat kontrolliert werden: Die Vorhersage des ersten Tokens von „Nein“ aus dem Ende des vorherigen Textes darf nicht trainiert werden. Die Auswahl bewerteter Positionen ist Loss Masking; das Auslassen einer Strafe für eine Position blockiert das Lesen dieser Position nicht.

Konkret dienen im Code von TRL 0.29.0: DataCollatorForLanguageModeling und BFD-Packing-Konfiguration die Beispiellängen der Rekonstruktion der Grenzen, und die Anfänge werden von der Fehlerbewertung ausgenommen. Dieser Ablauf benötigt eine kompatible Attention-Implementierung — den Mechanismus zur Nutzung anderer Textpositionen; der Code warnt bei einer nicht unterstützten Konfiguration vor durchsickernden Informationen. Das ist eine Bedingung dieses konkreten Verfahrens, keine Eigenschaft jedes Packings.

Prüfe zwei getrennte Dinge

Aktiviere das Packing und deaktiviere anschließend die Trennung der Zugriffe. Die Platzersparnis bleibt erhalten, aber B1 kann das frühere Beispiel A nutzen. Quadrate bezeichnen Endtokens; A1, B1 und so weiter sind beispielhafte Textstücke. Die Demonstration zeigt erlaubte Verbindungen, ohne Modellantworten zu simulieren. Die Variante „volle Zeilen“ zeigt die fehlende Ersparnis, wenn bereits alle Beispiele jeweils acht Plätze füllen.

Die Strategien unterscheiden sich im Umgang mit langen Texten. In TRL 0.29.0, Funktion pack_dataset, passt bfd ganze Beispiele in freie Plätze ein, schneidet aber den Überhang eines zu langen Beispiels ab; wrapped kann den Text mittendrin teilen. Deshalb müssen sowohl die erhaltenen Daten als auch die Grenzen geprüft werden. Packing ordnet Eingaben für das Training, einschließlich Fine-tuning — der weiteren Anpassung eines Modells anhand von Beispielen. Es vergrößert nicht die maximale Textlänge, die das Modell verarbeiten kann.

Reinforcement Learning (RL) ist das Lernen einer Handlungsstrategie anhand von Erfahrungen und numerischen Bewertungen der Aktionsfolgen. Ziel ist, die erwartete Gesamtbelohnung zu erhöhen: das Ergebnis, das eine Strategie im Mittel über viele Versuche erzielt. Die Belohnung muss nicht sofort nach der Entscheidung erscheinen. So beschreibt das offizielle Spinning Up, Teil 1, „Key Concepts and Terminology“, „Reward and Return“ und „The RL Problem“, das Problem.

Was das Programm aus einer gespielten Partie lernt

In unserem Spiel ist der Agent das Programm, das den Weg wählt, und die Umgebung ist das Spiel, das den Zug ausführt und Münzen vergibt. Das Programm erhält eine Beobachtung, also verfügbare Informationen zur Situation, etwa die Position auf dem Brett. Die Policy ist seine Regel zur Aktionsauswahl; sie kann auch die Wahrscheinlichkeiten unterschiedlicher Züge festlegen.

Nach Versuch A speichert das Programm das Ergebnis „2, dann 0“. Versuch B ergibt „0, dann 5“. Der Lernalgorithmus nutzt solche Erfahrungen zur Verbesserung der Policy, etwa um an dieser Gabelung häufiger B zu wählen. Das beschreibt das Ziel, nicht ein universelles Aktualisierungsrezept. Das Ergebnis 5 muss mit der früheren Entscheidung für B verknüpft werden. Wählt das Programm immer A, sammelt es keine Informationen über B; deshalb erfordert das Lernen oft auch das Ausprobieren weniger bekannter Aktionen.

Das erfundene Spiel hat feste Ergebnisse und zwei Runden. In einer schwierigeren Umgebung kann derselbe Zug unterschiedliche Folgen haben; deshalb zählt das erwartete Ergebnis, und ein einzelner Erfolg beweist keine gute Strategie. Auch das bloße Vergleichen zweier bekannter Summen ist noch kein Lernen.

Beim Behavioral Cloning lernt das Programm, Aktionen aus Beispielen nachzuahmen. Bei RL ist die Bewertung der Folgen die Information, die das Lernen lenkt. In Sprachmodellen kann die Aktion das Erzeugen einer Antwort sein, die Belohnung eine Bewertung ihrer Richtigkeit oder Nützlichkeit. RLHF [Polski] nutzt dafür Informationen von Menschen.

Eine wichtige Grenze: RL verbessert das Ergebnis nach der festgelegten Belohnung. Belohnen die Punkte das Umgehen von Regeln statt der Aufgabe, kann der Agent Reward Hacking [Polski] lernen. Mehr Punkte müssen nicht das Verhalten bedeuten, das wir tatsächlich erreichen wollten.

Wähle einen Weg und prüfe dann die zweite Runde

In diesem Experiment vergleichst du das Ziel zweier Strategien; du trainierst keinen Agenten. Wähle einen Weg und decke das spätere Ergebnis auf. Der Regler verändert die Bedeutung der zukünftigen Belohnung, nicht die Zahl gesammelter Münzen.

Wir berechnen den Return, also das Ergebnis des gesamten Versuchs: erste Belohnung + γ × zweite Belohnung. Das Symbol γ (Gamma) ist das Gewicht der zukünftigen Belohnung. Bei γ = 1 zählen wir beide Runden vollständig: A ergibt 2, B ergibt 5. Bei γ = 0,2 erhalten wir A = 2, B = 1. Das ist ein anderes Bewertungsziel für dasselbe Spiel. Die Grenzwerte γ = 0 und 1 sind hier zulässig, weil der Versuch nach zwei Runden endet; es ist keine unendliche Belohnungsfolge. Quelle des Formalismus: Spinning Up, „Reward and Return“.

Loss Masking legt fest, welche Positionen zum Verlust beitragen, also zur numerischen Bewertung des Fehlers beim Lernen. Ein Token — ein Stück Text — kann in der Eingabe sichtbar bleiben, obwohl das Modell nicht direkt für seine Vorhersage bewertet wird.

Beim Lernen allein aus den Antworten des Agenten helfen der Nutzertext und das Werkzeugergebnis bei der Wahl des nächsten Schritts, erhalten aber keine eigene Strafe für ihre Vorhersage. Das Modell muss also nicht lernen, jeden Teil der gesamten Aufzeichnung zu erzeugen.

Das unterscheidet sich von Causal Masking, das den Informationsfluss zwischen Positionen begrenzt. Ein fehlender Verlustterm für ein Token muss nicht bedeuten, dass es keinen Einfluss auf das Training hat: Seine Berechnungen können später bewertete Positionen beeinflussen. Die Arbeit „Don’t Mask the Environment“, §2, untersucht die Folgen der Auswahl bewerteter Abschnitte.

Siehe auch: Sequence Packing zeigt, warum beim Zusammenfügen von Beispielen der Zugang zum Kontext und die vom Verlust bewerteten Positionen getrennt gesteuert werden müssen.

pass@k misst die Wahrscheinlichkeit, dass mindestens einer von k Versuchen zur Lösung einer Aufgabe eine festgelegte Prüfung besteht. Das Ergebnis wird über die Aufgaben zusammengefasst. Die Zahl k gehört zur Bedeutung der Metrik, weil sie das Budget an Versuchen bestimmt.

In einer Menge von vier Ausführungen mit einem Erfolg beträgt die Schätzung von pass@1 1/4. Von den sechs möglichen Paaren enthalten drei den Erfolg, also beträgt die Schätzung von pass@2 aus dieser Menge 1/2. Die Zahl der zur Schätzung gesammelten Versuche darf nicht mit der Zahl der in der gemessenen Situation erlaubten Versuche verwechselt werden.

Ein hohes pass@10 verspricht kein ebenso gutes pass@1. Es sagt auch nicht, ob der Nutzer den richtigen Versuch ohne Prüfer erkennen kann. Chen und Mitautoren, §3.1, beschreiben die Schätzung von pass@k; die Arbeit über Agenten verwendet diese Metrik in einem anderen Kontext.

Continuous Batching erlaubt es, die Zusammensetzung der bearbeiteten Anfragen zwischen aufeinanderfolgenden Modelliterationen zu ändern. Eine fertige Antwort verlässt den Batch — die gemeinsam verarbeitete Gruppe — und eine neue Anfrage kann ihren Platz einnehmen.

Die lange Antwort wächst weiter, während die kurze durch die nächste ersetzt wird. Für die Auswahl der Teilnehmer ist der Scheduler zuständig, also das Programm zur Arbeitsplanung. Man muss nicht auf den langsamsten Teilnehmer der gesamten vorherigen Gruppe warten.

Diese Nutzung freier Plätze kann den Durchsatz erhöhen, garantiert aber nicht jedem Nutzer eine kürzere Wartezeit. Die Länge der Anfragen, Speichergrenzen und Planungsregeln spielen eine Rolle. Bei ähnlichen Längen kann der Vorteil gegenüber einer festen Gruppe gering sein.

Quelle des Mechanismus: Orca, §3, „Iteration-level scheduling“.

Mechanismus und Details

Das ist besonders beim Decode nützlich: Eine Person braucht eine kurze Antwort, eine andere mehrere Hundert Tokens. Allein das Sammeln mehrerer Anfragen vor dem Modellstart ermöglicht noch keine Änderung der Zusammensetzung eines bereits laufenden Batches. Eine neue Anfrage benötigt außerdem Prefill; wie dieser Schritt zusammen mit der Generierung behandelt wird, hängt von der Implementierung der Engine ab.

Muss C auf A warten?

Eigenes Experiment: Zwei Plätze sind verfügbar. A und B sind zum Zeitpunkt 0 bereit und benötigen sechs beziehungsweise zwei Runden. C wird zum Zeitpunkt 1 bereit und benötigt zwei Runden. Beide Varianten führen dieselben Berechnungen aus, aber in der festen Gruppe nimmt der Platz von B erst nach dem Ende von A die Anfrage C auf.

Bei Continuous Batching startet C zum Zeitpunkt 2 und endet bei 4; in der festen Gruppe startet C bei 6 und endet bei 8. Stelle B auf sechs Runden um: Dann entfällt die frühere Freigabe eines Platzes, und beide Strategien ergeben denselben Zeitplan.

Die Runden haben hier eine angenommene gleiche Länge. Prefill und Transfers liegen außerhalb des Experiments; „bereit“ bedeutet bereit für die dargestellten Runden. Auf der GPU hängt die Iterationsdauer von der Arbeit ab. Die Anzahl belegter Plätze ist daher kein Prozentsatz der Geräteauslastung.

Die Möglichkeit, eine Anfrage hinzuzufügen, garantiert keinen sofortigen Start: Speichergrenzen und Scheduler-Regeln gelten weiterhin (Orca, §4.2). PagedAttention erleichtert die Speicherverwaltung, bestimmt aber selbst nicht die Bearbeitungsreihenfolge.

Ich verwende KI-generierte Inhalte als Teil meines täglichen Lernprozesses.

PagedAttention liest Informationen aus dem KV Cache, die in Blöcken gespeichert sind und an unterschiedlichen Stellen im Speicher liegen können. Eine Blocktabelle zeigt, wo der nächste logische Abschnitt des Gesprächs zu finden ist. Die Reihenfolge des Textes bleibt korrekt.

Wenn ein Block die Beschreibungen von vier Tokens — Textstücken — aufnimmt, wird nach dem fünften ein zweiter Block benötigt. Das System muss nicht im Voraus Platz für die maximale Länge jedes Gesprächs reservieren. Es kann auch unveränderte Blöcke nach den Regeln der Speicherverwaltung gemeinsam nutzen.

Das ist eine Art der Adressierung und Datenorganisation, keine automatische Verkürzung des Kontexts oder Änderung des Attention-Ergebnisses. Der Aufwand für Tabellen und teilweise gefüllte Blöcke bleibt. Das Experiment zeigt die Trennung von logischer Reihenfolge und physischem Speicherort.

Quelle des Mechanismus: Kwon et al., §4.1–4.3.

Mechanismus und Details

Eigenes Beispiel: Ein Block enthält KV für vier Positionen. Eine Sequenz der Länge fünf benötigt zwei Blöcke, also acht Plätze. Der erste ist voll, der zweite enthält einen Eintrag und drei freie Plätze. Die logischen Blöcke 0 und 1 können auf die physischen Blöcke 4 und 1 verweisen. Das bisherige Präfix muss nicht verschoben werden, um während Decode den nächsten Block anzuhängen.

Textreihenfolge ist keine Speicheradresse

Die Demonstration zeigt eine Sequenz und Blöcke mit vier Positionen. Verarbeite weitere Positionen, insbesondere den Übergang von vier zu fünf. Ändere dann die Anordnung derselben Daten. Wir nehmen einen skalaren Kopf an: Alle Keys sind null, das Query ist 1, und die Values aufeinanderfolgender Positionen sind 1, 2, 3… Die Attention-Gewichte sind somit gleich und das Ergebnis ist der Value-Mittelwert. Für fünf Positionen beträgt er in beiden Anordnungen 3.

Dies veranschaulicht Adressierung und Zuweisung, simuliert aber keine GPU-Zeit. Leere Plätze im letzten Block belegen weiterhin Speicher; PagedAttention entfernt oder komprimiert vorhandenes KV nicht. FlashAttention konzentriert sich auf die Organisation von Berechnungen und Transfers bei Attention. Die Mechanismen können sich ergänzen. Blockweises Teilen von Speicher hilft auch beim Prefix Caching.

Ich verwende KI-generierte Inhalte als Teil meines täglichen Lernprozesses.

Prefix Caching nutzt zuvor berechnete Ergebnisse eines gemeinsamen Anfangs von Tokens — Textstücken — für weitere Anfragen. Bei geeigneten Modellen können das Daten des KV Cache sein, die einen Teil der Eingabeverarbeitung ersparen.

Die neue Frage muss weiterhin verarbeitet und ihre Antwort erzeugt werden. Der Cache ist keine Bibliothek fertiger Antworten. Entscheidend sind die Übereinstimmung des Anfangs und der Berechnungsbedingungen: Zwei Dokumente mit ähnlicher Bedeutung müssen keinen gemeinsamen Cache ergeben.

Schon eine kleine Änderung eines früheren Abschnitts kann die Wiederverwendung späterer Blöcke verhindern. Die Einsparung betrifft wiederholte Arbeit, nicht jedes Gespräch; auch das Speichern gemeinsamer Ergebnisse beansprucht Speicher.

Quelle des Mechanismus: vLLM 0.21.0, „Introduction“ und „Limits“.

Mechanismus und Details

Entscheidend ist ein identisches Tokenpräfix in einem übereinstimmenden Berechnungskontext, nicht semantische Ähnlichkeit. Keys und Values späterer Schichten hängen vom vorherigen Kontext ab. Derselbe letzte Absatz nach einem geänderten Anfang liefert nicht automatisch dasselbe KV.

vLLM identifiziert einen Block anhand seiner Tokens, der Kennung des vorherigen Blocks und zusätzlicher Daten, unter anderem der Kennung des LoRA-Adapters und der Bildeingabe. In der beschriebenen Version werden vollständige Blöcke zur Wiederverwendung gespeichert. Siehe die Beschreibung des Mechanismus Automatic Prefix Caching. Die Übereinstimmung des Modells, der Positionen und anderer Einstellungen, die KV beeinflussen, ist eine Voraussetzung für die korrekte Wiederverwendung; ein Vergleich der Texte allein genügt nicht.

Ein verändertes Token, unterschiedliche Folgen

Der Cache unseres Beispiels enthält A B C D E F G H in Blöcken mit je zwei Tokens. Die Buchstaben stehen für angenommene Token-IDs. Eine neue Anfrage ersetzt genau eine Position durch X. Verändere deren Position und prüfe, wie viele vollständige Blöcke sich zurückgewinnen lassen.

Wird H durch X ersetzt, bleiben sieben gemeinsame Tokens, aber nur sechs in vollständigen Blöcken. Wird A durch X ersetzt, gibt es null Treffer, obwohl die folgenden sieben Tokens übereinstimmen. Alle übrigen Bedingungen sind im Beispiel konstant; der Cache ist verfügbar und nichts wurde daraus entfernt.

Dies ist ein Cache für Berechnungen, keine fertige Antwort. Decode muss weitere Tokens weiterhin erzeugen, und entfernte Blöcke müssen neu berechnet werden. Die blockweise Speicherorganisation erklärt PagedAttention.

Ich verwende KI-generierte Inhalte als Teil meines täglichen Lernprozesses.

Time to First Token (TTFT) ist die Zeit von einem festgelegten Beginn der Bearbeitung bis zum ersten Token, also einem Antwortfragment. Bei der beschriebenen Messung auf Clientseite beginnen wir mit dem Absenden der Anfrage und enden mit dem ersten nicht leeren Inhalt.

Wenn die Frage bei 0 ms gesendet wurde und der erste Text bei 800 ms eintraf, beträgt TTFT 800 ms. In dieser Zahl können Netzwerk, Warteschlange, Eingabevorbereitung und Berechnungen enthalten sein. Eine Messung der reinen Modellzeit hätte andere Grenzen.

Ein kleines TTFT garantiert keinen flüssigen weiteren Verlauf: Nach dem ersten Fragment kann eine lange Pause folgen. Das beschreibt Inter-token Latency [Polski]. Bei Vergleichen muss immer angegeben werden, von welchem bis zu welchem Zeitpunkt gemessen wurde.

Quelle des Mechanismus: NVIDIA NIM Benchmarking-Dokumentation, „Time to First Token“.

Mechanismus und Details

TTFT umfasst mehr als Prefill: Der Client kann auf Netzwerk, Eingabevorbereitung, Warteschlange, Berechnungen und Ergebnisübertragung warten. Eine erst im Server beginnende Messung hat andere Grenzen. Solche Zahlen dürfen nicht verglichen werden, ohne die Herkunft ihrer Zeitstempel zu prüfen.

Das erste Zeichen schnell, die ganze Antwort spät

Eigene Ereignisspur: Senden bei 0 ms, Serverankunft bei 30 ms, Vorbereitung für 10 ms, Warteschlange 200 ms, Prefill 120 ms, Vorbereitung des ersten Ergebnisses 5 ms und dessen Lieferung 35 ms. Die Client-TTFT beträgt 400 ms; von der Anfrageankunft bis zum vorbereiteten Serverergebnis vergehen 335 ms.

Nach dem ersten Token empfangen wir vier weitere, alle 20 ms. Die gesamte Antwort trifft nach 480 ms ein. Erhöhe die Abstände auf 100 ms: Das Ende verschiebt sich auf 800 ms, aber das erste Token kommt weiterhin bei 400 ms. Erhöhe dann die Warteschlange und beobachte, welche Ergebnisse sich gemeinsam ändern.

Die Zeiten sind synthetisch, die Phasen überschneiden sich nicht, und jede Nachricht enthält ein Token. Reales Streaming kann Tokens gruppieren. TTFT beschreibt weder den Rhythmus des Decode noch die Zeit bis zum Erhalt der gesamten Antwort; die Dokumentation trennt diese Metriken in den Abschnitten „Inter-token Latency“ und „End-to-End Request Latency“. Inter-token Latency [Polski] beschreibt die Abstände und Pausen nach dem ersten Token. Prefix Caching kann die Arbeit am Prompt verringern, während Continuous Batching beeinflusst, wann der Scheduler eine Anfrage zur Ausführung zulässt.

Ich verwende KI-generierte Inhalte als Teil meines täglichen Lernprozesses.

Decode ist die Phase der Erzeugung einer Fortsetzung nach der Verarbeitung der anfänglichen Eingabe. In der üblichen Schleife verarbeitet das Modell das zuletzt gewählte Token — ein Textstück —, berechnet die Wahrscheinlichkeiten für das nächste, und eine Auswahlregel fügt einen der Kandidaten hinzu.

Das gewählte Fragment wird zur Eingabe des nächsten Schritts. Der KV Cache bewahrt benötigte Ergebnisse früherer Berechnungen auf, sodass nicht die gesamte Historie von Neuem verarbeitet werden muss.

So entsteht eine Abhängigkeit zwischen aufeinanderfolgenden Entscheidungen, obwohl mehrere unterschiedliche Antworten gemeinsam bearbeitet werden können. Decode bezeichnet hier das Erweitern des Textes durch das Modell, nicht nur die Umwandlung von Tokenkennungen in Zeichen. Prefill bereitet den anfänglichen Kontext vor.

Quelle des Mechanismus: Shazeer, Fast Transformer Decoding, §2.4.

Mechanismus und Details

Das erste Antworttoken lässt sich aus dem Prefill-Ergebnis auswählen. Wird weitergeneriert, ist dieses Token die Eingabe des nächsten Modelldurchlaufs. Seine neuen K und V kommen in den KV-Cache, und das Query nutzt aktuelle und frühere Positionen. Die bloße Auswahl einer Token-ID ergänzt noch nicht deren Repräsentation im Cache. Das zeigt die Hugging-Face-Generierungsschleife, „Cache storage implementation“.

Token ausgewählt, aber noch nicht verarbeitet

Das eigene Miniaturmodell hat drei Tokens: A, B und C. Ihre Vektoren sind $(1,0)$, $(0,1)$ und $(-1,-1)$. Wir setzen $Q=K=V$ gleich diesen Vektoren; Attention nutzt die Skala $1/\sqrt{2}$. Aus dem Ergebnis $h=(h_0,h_1)$ bilden wir die Logits $[h_1,h_0,-h_0-h_1]$, und Greedy Decoding wählt den größten.

Der Prompt A B ergibt näherungsweise $h=(0{,}330;0{,}670)$. Das erste Antworttoken ist somit A. Der Cache enthält vorerst nur die zwei Promptpositionen. Erst der nächste Durchlauf verarbeitet das gewählte A.

Dies ist ein vollständig definiertes Demonstrationsmodell ohne Training, Positionen, mehrere Schichten oder Endtoken. Seine wiederholte Antwort hat keine sprachliche Bedeutung. Der Vergleich mit der Neuberechnung des gesamten Präfixes prüft die Ergebnisgleichheit. Der Zähler umfasst ausschließlich Positionen, für die K/V berechnet wurden.

Der Cache vermeidet wiederholte Berechnungen früherer K/V, aber Attention liest weiterhin den Kontext. Bei kleinen Batches wird oft die Übertragung der Gewichte oder des Caches zum begrenzenden Faktor; das hängt vom Modell, der Hardware und der Sequenzlänge ab. In der Architektur Disaggregated Serving [Polski] läuft Decode nach dem Empfang des Caches auf eigenen Ressourcen. Decode in diesem Sinn ist nicht die Rückumwandlung von Tokenkennungen in Text durch den Tokenizer.

Ich verwende KI-generierte Inhalte als Teil meines täglichen Lernprozesses.

FlashAttention organisiert die Attention-Berechnung in Blöcken im kleinen, schnellen Speicher des Chips. Es schreibt nicht die gesamte Matrix der Vergleiche und Gewichte in den großen GPU-Speicher, also den Speicher der für parallele Berechnungen verwendeten Karte.

Jede Portion trägt einen Teil zum Ergebnis bei, und der Algorithmus aktualisiert die Normalisierung und die Summe korrekt. Man kann nicht einfach getrennte Mittelwerte der Portionen berechnen und diese mitteln: Die Portionen können unterschiedliche Anteile haben.

Die mathematische Operation der exakten Attention bleibt erhalten, mit den üblichen Unterschieden der Computerarithmetik. Bei dichter Attention wächst die Zahl der Vergleiche weiterhin quadratisch. Der Gewinn entsteht durch Speicherorganisation und Ausführung, nicht durch das Entfernen von Abhängigkeiten zwischen Paaren.

Quelle des Mechanismus: Dao et al., §2–3.2, Algorithmus 1.

Mechanismus und Details

Bei dichter Attention wächst die Anzahl der Operationen weiterhin quadratisch mit der Sequenzlänge. Der Gewinn stammt aus der Organisation von Berechnung und Speicher. Beim Training werden manche Größen im Rückwärtslauf neu berechnet statt gespeichert. „Exakt“ bedeutet, dass die Operation selbst nicht angenähert wird; eine andere Reihenfolge von Gleitkommaoperationen kann kleine numerische Unterschiede ergeben.

Blockergebnisse einfach zu mitteln reicht nicht

Softmax normalisiert die Gewichte über alle erlaubten Keys. Blöcke können sehr unterschiedliche Summen unnormalisierter Gewichte haben. Jeder muss daher den richtigen Anteil am Ergebnis erhalten.

Dies lässt sich schrittweise berechnen, indem man das Scoremaximum $m$, die Summe $l=\sum_j e^{s_j-m}$ und den Zähler $u=\sum_j e^{s_j-m}v_j$ führt. Das Ergebnis ist $u/l$. Erhöht ein neuer Block das Maximum auf $m'$, müssen die bisherigen $l$ und $u$ vor dem Addieren neuer Terme mit $e^{m-m'}$ skaliert werden. Die stabile Normalisierung erklären Milakov und Gimelshein, §3, Algorithmus 3.

Das eigene Beispiel verwendet vorgegebene Scores $[0,0,\ln 3,\ln 3]$ und Values $[0,0,1,1]$. Die Gewichte vor der Normalisierung haben das Verhältnis $[1,1,3,3]$. Das Ergebnis ist daher $6/8=0{,}75$. Die Ergebnisse der beiden Blöcke sind 0 und 1. Ihr gewöhnlicher Mittelwert liefert die falsche 0,5.

Die Demonstration isoliert die Aggregation für ein Query und skalare Values. Der vollständige Kernel berechnet Scoreblöcke aus Q und K auf der GPU; hier ermöglichen vorgegebene Zahlen die Prüfung von Hand. Der Wechsel der Blockgröße ist kein Benchmark.

Grouped-Query Attention begrenzt die Anzahl der K/V-Köpfe, FlashAttention die Art von Datentransfer und Verarbeitung. Beide Techniken lassen sich kombinieren. FlashAttention 2 ist eine spätere Implementierungsweiterentwicklung; der hier beschriebene Mechanismus stammt aus der ersten Arbeit.

Ich verwende KI-generierte Inhalte als Teil meines täglichen Lernprozesses.

Prefill ist die Verarbeitung der bekannten Eingabe, des sogenannten Prompts, vor der weiteren Generierung. Das Modell erstellt numerische Beschreibungen der Tokens — Textstücke — und kann einen Teil der Ergebnisse im KV Cache zur Wiederverwendung aufbewahren.

Da die gesamte Eingabe bereits vorliegt, können viele ihrer Positionen innerhalb einer Schicht parallel berechnet werden. Die Regeln für den Kontextzugriff gelten weiterhin: Parallele Arbeit erlaubt einer früheren Position keinen Blick auf die verbotene Zukunft.

Das Ergebnis der letzten Position erlaubt es, die Wahrscheinlichkeiten für das erste neue Token zu berechnen. Seine Auswahl ist ein eigener Schritt. Prefill umfasst nicht die gesamte Zeit ab dem Absenden der Frage: Netzwerk, Warteschlange und weitere Phasen kommen hinzu. Das weitere Erweitern der Antwort beschreibt Decode.

Quelle des Mechanismus: NVIDIA, Mastering LLM Techniques: Inference Optimization, Abschnitt „Understanding LLM inference“.

Mechanismus und Details

Der bekannte Prompt lässt sich parallel verarbeiten

Alle Eingabetokens sind bereits verfügbar. Innerhalb einer Schicht können deshalb viele Positionen gleichzeitig berechnet werden. Weiterhin gilt die kausale Maskierung: Die zweite Position verwendet nicht die dritte. Parallele Berechnungen heben weder diese Abhängigkeit noch die Reihenfolge beim Durchlaufen der Schichten auf. Die Grundlage beschreiben Vaswani et al., §3.1–3.2.

Prefill kann den Prompt auch in Portionen verarbeiten [Polski] und dabei den Cache früherer Positionen bewahren. Die vLLM-Dokumentation, „Chunked Prefill“ beschreibt, wie diese Aufteilung die Arbeit an Prompts mit der Erzeugung von Antworten für andere Anfragen verschränkt.

Vier Positionen, gleiches Ergebnis

Das eigene Beispiel isoliert einen Attention-Kopf mit Dimension 1: Alle Queries und Keys sind 1, die Values $[2,4,8,10]$. Die zulässigen Vergleichswerte sind gleich. Jede Position liefert daher den Mittelwert der sichtbaren Values: $[2,3,14/3,6]$. Vergleiche die Verarbeitung aller vier Positionen mit Abschnitten zu je zwei. In der zweiten Variante muss die dritte Position weiterhin die ersten beiden sehen.

Dies ist die Berechnung einer einzelnen Operation ohne trainierte Modellgewichte und ohne GPU-Messung. Im vollständigen Modell wird der Cache für jede Schicht separat geführt. Eine andere Aufteilung kann kleine numerische Implementierungsunterschiede verursachen; die mathematische Maske verändert sie nicht.

Nach dem Prompt beginnt Decode, bei dem weitere Eingaben von gerade ausgewählten Tokens abhängen. Die Prefill-Zeit allein umfasst nicht die gesamte Wartezeit des Nutzers: Warteschlange, Eingabevorbereitung und Ergebnislieferung zählen ebenfalls. Siehe auch: Time to First Token umfasst die Wartezeit des Clients bis zum ersten Token, und Continuous Batching ermöglicht Änderungen der bearbeiteten Gruppe zwischen Iterationen.

Ich verwende KI-generierte Inhalte als Teil meines täglichen Lernprozesses.

Speculative Decoding erstellt einen günstigeren Vorschlag für die Fortsetzung und prüft ihn anschließend mit dem Zielmodell. Im klassischen Algorithmus übernehmen wir die anfängliche Folge akzeptierter Tokens — Textstücke — bis zur ersten Ablehnung und berechnen dann eine Korrektur.

Das große Modell kann den bekannten Vorschlag für mehrere Positionen parallel bewerten. Die korrekte Stichprobenvariante verwendet besondere Akzeptanz- und Korrekturwahrscheinlichkeiten, um die Zielverteilung zu erhalten. Der bloße Test „klingt das sinnvoll?“ gewährleistet das nicht.

Die Beschleunigung hängt vom Aufwand für den Vorschlag, der Zahl der Akzeptanzen und der Hardware ab. Wenn das kleine Modell häufig vom großen abweicht, kann die zusätzliche Arbeit den Gewinn aufheben. Die Demonstration unten zeigt die Erhaltung der Wahrscheinlichkeiten, keine garantierte Laufzeit.

Quelle des Mechanismus: Leviathan et al., §2, Algorithmus 1.

Mechanismus und Details

Dies beschleunigt Decode unter Erhaltung der Zielmodellverteilung unter den Bedingungen des Algorithmus. Zu prüfen, ob ein Vorschlag „gut aussieht“, genügt nicht.

Warum eine Korrektur nötig ist

Bezeichnen wir die Zielverteilung mit $p$ und die Draft-Verteilung mit $q$, für dasselbe Präfix und dieselbe Tokenmenge. Beide berücksichtigen die ausgewählten Ziehungsregeln, etwa Temperatur und Top-p-Sampling. Ein Vorschlag $x\sim q$ wird mit folgender Wahrscheinlichkeit akzeptiert:

Ein gezogener Vorschlag hat $q(x)>0$. Nach einer Ablehnung ziehen wir aus einer Verteilung proportional zu $\max(0,p-q)$. Dieser Schritt ergänzt genau die fehlende Wahrscheinlichkeitsmasse. Ist $p=q$, wird nichts abgelehnt und keine Korrektur benötigt. Leviathan et al., §2.3 und Beweis A.1.

Eigenes Beispiel: Für A, B und C sei $p=[0{,}2;0{,}5;0{,}3]$ und $q=[0{,}6;0{,}3;0{,}1]$. Die unbedingte Masse akzeptierter Vorschläge beträgt $[0{,}2;0{,}3;0{,}1]$. Die verbleibenden 0,4 müssen gleichmäßig zwischen B und C aufgeteilt werden. Eine Korrekturziehung aus dem gewöhnlichen $p$ würde stattdessen $[0{,}28;0{,}50;0{,}22]$ ergeben.

Das Experiment zeigt die genaue Bilanz einer Position, ohne die gesamte Schleife oder Laufzeit zu simulieren. Eine erhaltene Verteilung garantiert keinen identischen Text beim selben Seed: Algorithmen verbrauchen Zufälligkeit unterschiedlich, und Berechnungen haben begrenzte Präzision. Das besprechen Chen et al., §4.2 und §6.1.

Die Beschleunigung hängt von Akzeptanzrate, Draft-Kosten und Hardware ab. Ein zu teurer Draft oder viele Ablehnungen können die Einsparung aufheben, selbst wenn die Verteilung korrekt bleibt.

Ich verwende KI-generierte Inhalte als Teil meines täglichen Lernprozesses.

Beam Search behält mehrere der am besten bewerteten Teilantworten. In jedem Schritt erweitert es sie, vergleicht die neuen Folgen und lässt erneut nur eine festgelegte Anzahl übrig. Die Größe dieser Menge heißt Beam Width.

Bei einer Breite von zwei kann das System die Anfänge A und B behalten, statt sofort A zu wählen. Im nächsten Schritt vergleicht es ihre Fortsetzungen. Die grundlegende Bewertung verbindet die Wahrscheinlichkeiten aufeinanderfolgender Tokens — Textstücke —, wobei Implementierungen den Einfluss der Länge korrigieren können.

Eine größere Menge kostet mehr Speicher und Berechnungen und kann trotzdem den besten Weg verwerfen. Eine hohe Wahrscheinlichkeit der gesamten Folge garantiert außerdem weder Wahrheit noch Vielfalt oder Nützlichkeit der Aussage.

Mechanismus und Details

Bei der autoregressiven Sprachmodellierung ist der grundlegende Sequenzscore die Summe der Logarithmen ihrer Tokenwahrscheinlichkeiten:

Dies ist der Logarithmus des Wahrscheinlichkeitsprodukts. Ein größerer Wert ist besser; die Summe vermeidet die Multiplikation sehr kleiner Zahlen. Die Hugging-Face-Dokumentation, „Beam search“ beschreibt das Behalten mehrerer Sequenzen. Bei Breite 1 reduziert sich diese grundlegende Variante auf Greedy Decoding.

Welches Präfix verwirfst du zu früh?

Das eigene Beispiel beginnt mit A = 0,45, B = 0,35 und C = 0,20. Ein Beam mit Breite 2 verwirft C. Die beste Fortsetzung von A hat später die Chance 0,4; AA erreicht daher 0,18. Das übergangene CA hätte aber $0{,}20\cdot0{,}99=0{,}198$ erreicht. Breite 3 behält C und findet das bessere Ergebnis. Dies ist ein vollständiger kleiner Baum mit zwei Tokens, ohne vorzeitiges Ende und ohne Längennormalisierung.

Beam Search bleibt eine Näherung: Ein verworfenes Präfix wird nicht erneut erweitert. Die Breite bezeichnet nicht die Anzahl der aus einer Verteilung gezogenen Tokens wie bei Top-k-Sampling.

Bei unterschiedlich langen Sequenzen zählen Endtoken, Abbruchbedingung und Bewertungsfunktion. Beispielsweise teilt length_penalty in GenerationConfig den logarithmischen Score durch die mit einem festgelegten Exponenten potenzierte Länge. Dieses Kriterium darf nicht mit reiner Wahrscheinlichkeit verwechselt werden. Ein breiterer Beam garantiert auch keinen besseren Inhalt; das Problem besprechen Holtzman et al., §2.2–3.

Ich verwende KI-generierte Inhalte als Teil meines täglichen Lernprozesses.

Greedy Decoding wählt in jedem Schritt das höchstbewertete Token, also ein Textstück, und setzt von dieser Entscheidung aus fort. Es zieht keine Zufallsstichprobe und kehrt nicht zu ausgelassenen Wegen zurück.

Wenn A eine Wahrscheinlichkeit von 0,6 und B von 0,4 hat, wählt es A. Hat aber der beste weitere Schritt nach A eine Wahrscheinlichkeit von 0,51, liegt der gesamte Weg bei 0,306. Der Weg über B mit einer Fortsetzung von 0,99 hat 0,396. Der lokale Spitzenreiter kann also verlieren, wenn zwei Schritte gemeinsam bewertet werden.

Die Methode ist einfach, garantiert aber weder die wahrscheinlichste gesamte Sequenz noch die beste Antwort für einen Menschen. Beam Search behält mehr Wege und verursacht zusätzliche Kosten.

Mechanismus und Details

Die Regel beschreibt die Hugging-Face-Dokumentation, „Greedy search“. Mathematisch wählen wir $\arg\max_v p(v\mid x_{<t})$: Aus den Tokens $v$ nehmen wir das Maximum bei der bisherigen Folge $x_{<t}$. Ein Gleichstand erfordert eine festgelegte Entscheidungsregel. Der Verzicht auf Zufallsziehung verspricht kein identisches Ergebnis, wenn sich Modell, Berechnungen oder Konfiguration ändern.

Der lokale Gewinner kann bei der gesamten Sequenz verlieren

Das eigene Beispiel hat genau zwei Schritte. Anfangs hat A die Wahrscheinlichkeit 0,6 und B 0,4. Nach A hat die beste Fortsetzung eine Chance von 0,51, nach B von 0,99. Greedy wählt A und anschließend dessen beste Fortsetzung: $0{,}6\cdot0{,}51=0{,}306$. Der übergangene Pfad über B hat jedoch $0{,}4\cdot0{,}99=0{,}396$. Alle angegebenen Verteilungen sind erfunden und summieren sich zu 1; nach zwei Tokens ist Schluss.

Beam Search behält mehrere Teilsequenzen, um eine solche Entscheidung aufzuschieben. Top-k-Sampling begrenzt dagegen die Kandidaten für das Ziehen des nächsten Tokens. Bei einem eindeutigen Maximum und $k=1$ entspricht die Tokenauswahl Greedy.

Der wahrscheinlichste Text muss weder wahr noch nützlich sein. Holtzman et al., §2.2–3 trennen die Maximierung der Wahrscheinlichkeit von der Qualität offener Fortsetzungen. Das ist ein anderes Problem als der oben gezeigte Suchfehler.

Ich verwende KI-generierte Inhalte als Teil meines täglichen Lernprozesses.

Grouped-Query Attention (GQA) unterteilt Query-Köpfe in Gruppen, die Key und Value gemeinsam nutzen. Query ist eine numerische Beschreibung zum Lesen des Kontexts, Key zum Abgleich und Value zur Weitergabe von Informationen. Jeder Kopf berechnet weiterhin seine eigenen Anteile.

Acht Query-Köpfe, aufgeteilt in zwei Gruppen mit je vier Köpfen, bedeuten zwei Key/Value-Sätze statt acht. Eine einzige Gruppe ergibt MQA; eine Gruppe pro Kopf entspricht gewöhnlichem MHA.

Weniger Sätze verringern bei passenden Dimensionen die Speicherkosten für KV. Das ist ein Kompromiss zwischen Konstruktion und Qualität, kein Schalter, der eine bestimmte Geschwindigkeit garantiert. Die Laufzeit hängt auch von der Hardware und den übrigen Berechnungen ab.

Mechanismus und Details

Für $H$ Query-Köpfe und $G$ Gruppen erhalten wir $G$ K/V-Sätze. Bei $G=1$ ist dies Multi-Query Attention. Bei $G=H$ kehren wir zu Multi-Head Attention zurück. Diese Familie und die Bezeichnung GQA-g beschreiben Ainslie et al., GQA, §2.2.

Berechne den Speicher, bevor du die Geschwindigkeit schätzt

Die eigene Berechnung für den KV Cache nimmt Batchgröße 1, 32 Schichten, 1024 gespeicherte Tokens, die Dimension 128 für jeden Key/Value-Kopf und 2 Byte pro Zahl an. Die K/V-Elemente allein belegen:

Die erste Zwei steht für K und V. Bei acht Query-Köpfen ergibt sich 128 MiB für MHA, 32 MiB für zwei KV-Köpfe und 16 MiB für MQA. Ein MiB sind $2^{20}$ Byte. Modellgewichte, Puffer, Speicherausrichtung und Replikation zwischen Geräten zählen wir nicht mit.

Die Verringerung der KV-Kopfanzahl verkürzt hier weder den Kontext noch entfernt sie Query-Köpfe. Sie begrenzt die Zahl separater K/V-Repräsentationen. Die Speicherrechnung sagt weder Qualität noch Laufzeit voraus; beide hängen auch von Training, Hardware und Implementierung ab.

Bei der Checkpoint-Konvertierung mittelten die Autoren die K/V-Projektionen innerhalb der Gruppen und setzten danach das Pre-Training fort (§2.1–2.2). Die Ergebnisse in §3 betreffen konkrete T5-Varianten und Aufgaben. Sie bestimmen weder eine universelle Gruppenanzahl noch garantieren sie Qualitätserhalt beim bloßen Umstellen der Konfiguration.

Ich verwende KI-generierte Inhalte als Teil meines täglichen Lernprozesses.

Multi-Query Attention (MQA) behält viele Queries — Beschreibungen des Bedarfs der aktuellen Positionen —, gibt ihnen aber einen gemeinsamen Satz von Key und Value. Key dient dem Abgleich, Value enthält weiterzugebende Informationen. Alle sind Listen von Zahlen.

Zwei Köpfe können denselben Key/Value-Satz nutzen und trotzdem die Anteile anders verteilen, weil sie unterschiedliche Queries haben. Gemeinsame Daten erzwingen kein identisches Ergebnis.

Die Einsparung betrifft unter anderem den KV Cache, also gespeicherte Beschreibungen früheren Textes. Die Änderung kann jedoch die Qualität beeinflussen und bedeutet keine proportionale Beschleunigung des gesamten Modells. Grouped-Query Attention nutzt die gemeinsame Verwendung innerhalb kleinerer Gruppen.

Mechanismus und Details

Bei gewöhnlicher Multi-Head Attention hat jeder Kopf eigene Query-, Key- und Value-Projektionen. MQA entfernt die Kopfdimension aus K/V und deren Projektionen und erhält sie für Query. So definiert Noam Shazeer, Fast Transformer Decoding: One Write-Head is All You Need, §3 diese Variante.

Gleicher Speicher, andere Frage

Das eigene Beispiel hat zwei Schlüssel: $k_1=(1,0)$ und $k_2=(0,1)$. Zwei Query-Köpfe erhalten jeweils $q_1=(2,0)$ und $q_2=(0,2)$. Scaled Dot-Product Attention teilt die Produkte durch $\sqrt{2}$ und wendet Softmax an. Der erste Kopf gibt den Schlüsseln Gewichte von etwa 0,804 und 0,196; der zweite kehrt diese Anteile um. Bei gemeinsamen $v_1=(1,0)$ und $v_2=(0,1)$ sind dies zugleich die Koordinaten zweier unterschiedlicher Ergebnisse.

Woher die Einsparung kommt

Der KV-Cache speichert frühere K/V. Bei acht Query-Köpfen speichert MHA acht K/V-Sätze, MQA einen. Bei gleicher Sequenzlänge, Kopfdimension und Präzision sind die Cachetensoren dann achtmal kleiner. Das ist eine Größenberechnung, keine achtfache Beschleunigung des gesamten Modells.

Shazeers Analyse in §2.4.1 und §3.1 verbindet diese Änderung mit dem Speichertransfer während aufeinanderfolgender Generierungsschritte. Allerdings verändern sich Architektur und Repräsentationsmöglichkeiten. Es handelt sich nicht um das verlustfreie Entfernen identischer Kopien aus einem beliebigen trainierten MHA. Grouped-Query Attention behält als Zwischenvariante mehrere K/V-Sätze.

Ich verwende KI-generierte Inhalte als Teil meines täglichen Lernprozesses.

Rotary Position Embedding (RoPE) dreht Zahlenpaare in Query und Key entsprechend der Position des Tokens, also eines Textstücks. Query und Key sind Vektoren — Listen von Zahlen, die in Attention verglichen werden.

Stell dir zwei Pfeile mit bestimmten Längen vor. Die Position legt ihren Drehwinkel fest. Beim Vergleich zählt der Unterschied der Winkel und damit der Unterschied der Positionen. Im tatsächlichen Modell werden viele Paare mit unterschiedlichen Frequenzen gedreht.

Das ist eine Analogie für eine Operation auf Zahlen, keine Bewegung des Textes im Speicher. RoPE verbietet keinen Zugang zur Zukunft und garantiert kein gutes Verhalten jenseits der aus dem Training bekannten Längen. Es unterscheidet sich vom Hinzufügen eines Positionssignals im ursprünglichen Positional Encoding.

Mechanismus und Details

Anders als beim Addieren eines Vektors in der ursprünglichen Positionskodierung verändert sich hier die Orientierung von Query und Key. Für das zweidimensionale Paar $u=(a,b)$ ergibt eine Rotation um $\phi$:

Die Rotation erhält die Vektorlänge. Su et al., RoFormer, §3.1–3.2 leiten die Konstruktion her und kombinieren viele solcher Paare mit unterschiedlichen Frequenzen.

Verschiebe beide Tokens und prüfe das Ergebnis

Bleiben die unrotierten Queries und Keys fest, gilt:

$m$ und $n$ sind Positionen; $\theta$ ist der Winkel pro Abstandseinheit für das jeweilige Paar. Das Ergebnis hängt von der Positionsdifferenz ab. Eine gemeinsame Verschiebung beider Positionen dreht die Pfeile, erhält aber ihr Skalarprodukt.

Das eigene Beispiel verwendet $q=k=(1,0)$ und ein angenommenes $\theta=30^\circ$. Bei Abstand 1 beträgt das Produkt ungefähr 0,866, bei 6 ist es −1 und bei 12 wieder 1. Dies ist ein einzelnes Paar mit bewusst einfacher Frequenz, keine vollständige Modellrezeptur. Die Originalarbeit verwendet für das Paar mit Index $i=0,\ldots,d/2-1$ den Wert $\theta_i=10000^{-2i/d}$ Radiant.

Das gezeigte Ergebnis ist ein Bestandteil der Scaled Dot-Product Attention vor Skalierung und Softmax. Es ist keine Wahrscheinlichkeit. In dieser Variante rotieren wir Q und K; V benötigt diese Rotation nicht. RoPE ersetzt keine kausale Maskierung.

Die Rückkehr eines einzelnen Paares zur gleichen Orientierung zeigt auch, warum nicht angenommen werden darf, dass jeder Wert mit dem Abstand monoton abnimmt. Die Eigenschaft relativer Positionen allein beweist keine korrekte Funktion des gesamten Modells für beliebig lange Texte.

Ich verwende KI-generierte Inhalte als Teil meines täglichen Lernprozesses.

KL Divergence vergleicht zwei Wahrscheinlichkeitsverteilungen, also Sätze von Wahrscheinlichkeiten derselben Ereignisse. Die Referenzverteilung und die Verteilung, die sie annähert, müssen angegeben werden. Der Beitrag jedes Ereignisses hängt von seiner Wahrscheinlichkeit in der Referenzverteilung und vom Verhältnis der beiden Wahrscheinlichkeiten ab.

Für diese Zahlen beträgt der Vergleich der ersten mit der zweiten etwa 0,368, der umgekehrte etwa 0,511, jeweils mit dem natürlichen Logarithmus. Die Richtung zählt: Es ist keine symmetrische Entfernung wie die Kilometerzahl zwischen Städten.

Bei Knowledge Distillation lassen sich die Vorhersagen des Lehrers und des Schülers vergleichen. Ein kleines KL bedeutet ihre Übereinstimmung, nicht die Wahrheit des Lehrers. Einem Ereignis mit positiver Wahrscheinlichkeit in der Referenzverteilung die Wahrscheinlichkeit null zuzuweisen, ergibt mathematisch eine unendliche Strafe.

Mechanismus und Details

$q_i$ und $p_i$ sind die Wahrscheinlichkeiten desselben Ereignisses $i$, etwa eines bestimmten Tokens. Die Formel und ihre Beziehung zu Cross-entropy beschreibt die SciPy-Dokumentation: entropy. Es gilt $D_{\mathrm{KL}}(q\|p)=H(q,p)-H(q)$: Von der Cross-entropy ziehen wir die Entropie der Referenzverteilung ab. Wenn $q$ konstant ist, verändert diese Differenz das Minimum bezüglich der Modellparameter, die $p$ bestimmen, nicht.

Die Vergleichsrichtung zählt

Eigenes Beispiel: Für $q=[0{,}9;0{,}1]$ und $p=[0{,}5;0{,}5]$ erhalten wir ungefähr 0,368. Vertauschen wir die Rollen der Verteilungen, beträgt das Ergebnis ungefähr 0,511. Wir verwenden den natürlichen Logarithmus; die Einheit ist daher Nat. KL-Divergenz ist kein symmetrischer Abstand. Es muss immer angegeben werden, welche Verteilung auf welcher Seite steht.

Ist $q_i>0$, aber $p_i=0$, ist das Ergebnis unendlich. Ein Term mit $q_i=0$ wird als null definiert. Diese Randfälle definiert SciPy: rel_entr.

Bei der Wissensdestillation kann die Lehrervorhersage als Referenzverteilung und die Schülervorhersage als Näherung dienen. Ein kleiner Wert beschreibt die Übereinstimmung dieser Verteilungen auf den bewerteten Daten, nicht den Wahrheitsgehalt der Lehrerantworten.

Bei der Implementierung muss die Argumentreihenfolge beachtet werden. PyTorch: KLDivLoss erwartet als input die logarithmischen Modellwahrscheinlichkeiten und bei log_target=False als target die Referenzverteilung. Für eine Matrix „Beispiele × Klassen“ summiert batchmean die Terme über Klassen und mittelt über Beispiele; mean mittelt alle Elemente und liefert dadurch eine andere Skala.

KV Cache speichert Key und Value aus den Attention-Schichten. Das sind Listen von Zahlen, die dem Abgleich von Fragmenten beziehungsweise der Weitergabe ihrer Informationen dienen. Der Cache speichert weder eine fertige Antwort noch eine Zusammenfassung des Gesprächs.

Nach der Verarbeitung von A, B und C nutzt das neue Fragment D die gespeicherten Beschreibungen dieser Positionen und fügt seine eigenen hinzu. In einem Modell mit gesperrtem Zugang zur Zukunft verändern neue Fragmente die früheren Beschreibungen nicht; bei übereinstimmenden Einstellungen können sie deshalb wiederverwendet werden.

Wir sparen wiederholte Berechnungen, bezahlen aber mit Speicher für die aufbewahrten Zahlen. Bei langem Kontext steigt dieser Aufwand. Prefill bereitet den Cache der bekannten Eingabe vor, während Decode ihn während der Antwort ergänzt. Benötigte Informationen müssen weiterhin gelesen und vermischt werden.

Mechanismus und Details

In einem Modell mit Causal Masking verändern spätere Tokens die Repräsentationen früherer Positionen nicht. Das erlaubt die Wiederverwendung des Caches für dasselbe Präfix und dieselben Modelleinstellungen. Die Grundlage des Informationsflusses beschreibt Attention Is All You Need, §3.1 und §3.2.3, die Aktualisierung des Caches in jeder Schicht die Hugging-Face-Dokumentation: How caching works.

Was vom vorherigen Schritt bleibt

Eigene Illustration: Das Modell hat A, B und C verarbeitet. Bei der Verarbeitung von D nutzt es die gespeicherten K und V der drei vorherigen Positionen und ergänzt das Paar für D. Das Query der aktuellen Position wird mit verfügbaren Keys verglichen; das Ergebnis verwendet die entsprechenden Values. Der Cache ist weder eine fertige Antwort noch eine Textzusammenfassung der Unterhaltung.

Das Speichern von Ergebnissen kostet Ressourcen. Eigenes kleines Beispiel für eine Schicht: vier Positionen, zwei KV-Köpfe, jeweils drei Zahlen pro K- und V-Vektor und vier Byte pro Zahl:

Der erste Faktor 2 steht für getrennte Keys und Values. Das Ergebnis umfasst nur die Tensorelemente ohne Allokationsaufwand. Ein vollständiger dynamischer Cache wächst mit der Zahl gespeicherter Positionen; Varianten mit begrenztem Fenster können ältere Positionen entfernen.

Ein älterer Artikel über die Skalierung des KV-Caches [English] vertieft die Speicherkosten. Der Artikel über Cache-Übertragung zwischen Modellen [Polski] behandelt ein separates Problem: Übereinstimmende Tensordimensionen gewährleisten keine übereinstimmende Bedeutung. Bei einer Änderung des Modells oder Präfixes muss erneut bestimmt werden, welcher Cacheteil gültig bleibt. Siehe auch: PagedAttention beschreibt eine blockweise Speicherorganisation, Prefix Caching die Wiederverwendung von KV für ein gemeinsames Präfix.

Top-k Sampling zieht das nächste Token, also ein Textstück, aus den k höchstbewerteten Kandidaten. Es schließt die übrigen aus und rechnet die Wahrscheinlichkeiten der behaltenen Kandidaten auf die Summe eins um.

Wenn A die Wahrscheinlichkeit 0,5, B 0,3 und die übrigen zusammen 0,2 haben, bleiben bei k=2 A und B. Nach Division durch 0,8 betragen ihre Wahrscheinlichkeiten 0,625 und 0,375. B kann weiterhin gewinnen; die Methode gibt nicht allen gleich viel.

Ein festes k bestimmt die Zahl der Kandidaten, nicht ihre gemeinsame Verlässlichkeit. Bei einer sehr flachen Verteilung können sogar die Spitzenreiter geringe Wahrscheinlichkeiten haben. Top-p Sampling bestimmt die Menge anhand der Summe der Wahrscheinlichkeiten, während Temperature ihre Verhältnisse regelt.

Mechanismus und Details

Eine praktische Implementierung kann die Logits bereits vor Softmax filtern: Den verworfenen Positionen wird negative Unendlichkeit zugewiesen. Nach der Normalisierung beträgt ihre Wahrscheinlichkeit dann null. Diesen Mechanismus beschreibt die Dokumentation von Transformers: TopKLogitsWarper.

Zwei Kandidaten bedeuten keine gleichen Chancen

Eigenes Beispiel für $k=2$:

A und B hatten zusammen eine Wahrscheinlichkeit von 0,80. Wir teilen durch diese Summe: $0{,}50/0{,}80=0{,}625$ und $0{,}30/0{,}80=0{,}375$. Das Ziehen kann weiterhin B auswählen. Bei $k=1$ und einem eindeutigen Maximum wählen wir immer das am höchsten bewertete Token.

Ein festes $k$ kontrolliert die Anzahl der Kandidaten, nicht deren gemeinsame Wahrscheinlichkeit vor dem Abschneiden. Zwei erhaltene Positionen können nahezu die gesamte Verteilung oder nur einen kleinen Teil davon umfassen. Top-p-Sampling bestimmt die Grenze anhand der Summe der Wahrscheinlichkeiten. Die Temperatur verändert die Chancenverhältnisse; eine positive Skalierung allein verändert die Reihenfolge endlicher Logits nicht.

Bei Gleichständen lohnt sich ein Blick auf die Implementierung. Der Code von Transformers 5.17.0 entfernt Ergebnisse, die strikt unter dem Ergebnis des k-ten Kandidaten liegen. Er kann daher auch zusätzliche Tokens mit demselben Wert an der Grenze erhalten. Das Tabellenbeispiel enthält keine Gleichstände.

Top-p Sampling, auch Nucleus Sampling, wählt die kleinste Anfangsgruppe der nach absteigender Wahrscheinlichkeit sortierten Kandidaten, deren Summe den Schwellenwert p erreicht. Anschließend zieht es aus dieser Gruppe, nachdem die Wahrscheinlichkeiten auf die Summe eins umgerechnet wurden.

Bei Wahrscheinlichkeiten von 0,7; 0,15; 0,1; 0,05 und einem Schwellenwert von 0,75 bleiben die ersten beiden: Zusammen haben sie 0,85. Bei 0,4; 0,3; 0,2; 0,1 werden bereits drei benötigt. Jeder Generierungsschritt kann also eine andere Zahl zugelassener Tokens — Textstücke — haben.

Der Schwellenwert bedeutet weder eine Mindestwahrscheinlichkeit jedes Kandidaten noch eine garantierte Antwortqualität. Top-k Sampling legt die Zahl fest, während top-p auf die Verteilung reagiert; keiner dieser Filter bewertet allein die Wahrheit des Textes.

Mechanismus und Details

Methode und Normalisierung beschreiben Holtzman et al., The Curious Case of Neural Text Degeneration, §3.1. In jedem Schritt der autoregressiven Sprachmodellierung wird die Kandidatenmenge neu bestimmt.

Gleiche Schwelle, unterschiedliche Tokenanzahl

Eigenes Beispiel für $p=0{,}75$; die Zeilen enthalten bereits sortierte Wahrscheinlichkeiten:

In der zweiten Zeile ergeben A und B nur 0,70, deshalb muss C hinzukommen. Nach der Normalisierung betragen ihre Chancen $4/9$, $3/9$ und $2/9$. D wird ausgeschlossen. Die Schwelle bedeutet nicht, dass nur Tokens erhalten bleiben, deren Wahrscheinlichkeit jeweils einzeln mindestens 0,75 beträgt.

Top-k-Sampling würde in beiden Fällen versuchen, dieselbe Anzahl von Kandidaten zu erhalten. Top-p reagiert auf die Verteilung ihrer Chancen. Wenden wir vorher eine Temperatur an, verändert sich die Summe aufeinanderfolgender Wahrscheinlichkeiten, und die Abschneidegrenze kann an einer anderen Stelle liegen.

Die Arbeit untersuchte unter anderem die offene Textfortsetzung durch GPT-2 (§4.1). Ihre Ergebnisse legen keinen einheitlichen optimalen Schwellenwert für jedes Modell und jede Aufgabe fest. Der Parameter $p$ ist auch nicht die Wahrscheinlichkeit, dass die erzeugte Antwort korrekt sein wird.

Knowledge Distillation ist das Trainieren eines Schülermodells mit den Ausgaben oder Vorhersagen eines Lehrermodells. Der Schüler verändert dabei tatsächlich seine Parameter; eine bloße Anfrage an den Lehrer ist kein Training.

Wenn der Lehrer A die Wahrscheinlichkeit 0,60, B 0,35 und C 0,05 gibt, lässt das Etikett „A“ die Information aus, dass B eine nahe Alternative ist. Der Schüler kann lernen, die gesamte Verteilung nachzubilden. Eine andere Variante verwendet vollständige, vom Lehrer erzeugte Texte.

Der Lehrer muss kein einzelnes größeres Modell sein, dient klassisch aber als Quelle des nachzuahmenden Verhaltens. Die Destillation kann auch Fehler übertragen. KL Divergence hilft, die Übereinstimmung der Vorhersagen zu messen; On-policy self-distillation ist eine speziellere Konstruktion der Daten und des Lehrers.

Mechanismus und Details

In Distilling the Knowledge in a Neural Network, §2 beschreiben Hinton, Vinyals und Dean das Lernen anhand weicher Wahrscheinlichkeitsverteilungen. Eine erhöhte Temperatur macht mehr Informationen über die Beziehungen zwischen Kandidaten sichtbar. Beim Vergleich der Verteilungen wird derselbe Parameter für Lehrer und Schüler verwendet. Die Autoren kombinieren dieses Ziel mit dem Lernen anhand korrekter Labels, sofern diese verfügbar sind.

Mehr Informationen als eine einzelne Antwort

Eigenes Beispiel: Der Lehrer weist den beispielhaften Tokens A, B und C die Wahrscheinlichkeiten 0,60; 0,35; 0,05 zu. Das Etikett „A“ benennt nur den Gewinner. Die gesamte Verteilung zeigt auch, dass B wesentlich wahrscheinlicher als C war. Der Schüler kann versuchen, diese Verhältnisse mit Cross-entropy oder entsprechend gerichteter KL Divergence nachzubilden. Das ist ein zusätzliches Trainingssignal, kein Beweis für die Richtigkeit der Etiketten des Lehrers.

Bei texterzeugenden Modellen muss man den Vergleich von Verteilungen des nächsten Tokens vom Lernen anhand vollständiger erzeugter Sequenzen unterscheiden. Kim und Rush, Sequence-Level Knowledge Distillation, §2.2–3.2 beschreiben beide Ansätze für die maschinelle Übersetzung. In der sequenzbasierten Variante trainiert der Schüler auf Ausgaben, die die Beam Search des Lehrers gefunden hat. Der Text einer solchen Antwort enthält nicht die vollständigen Wahrscheinlichkeiten aller alternativen Tokens.

Das Ergebnis hängt vom Lehrer, den Daten und den Fähigkeiten des Schülers ab. Es bedeutet weder eine Kopie sämtlicher Fähigkeiten noch eine garantierte Verbesserung bei jeder Aufgabe. Die separate Notiz On-Policy-Selbstdestillation beschreibt eine besondere Variante in TTPO; ihre Bedingungen sind keine allgemeine Definition der Wissensdestillation.