Volver a comprobar esos mismos días no resuelve la duda. La regla flexible puede haberse ajustado también al azar, por ejemplo, a una excursión excepcionalmente numerosa a 22°C. Antes de elegir la regla, reservas otros días para comparar candidatos. Validation Set es una parte separada de los datos que se utiliza para elegir un modelo o sus ajustes, no para ajustar sus números aprendidos. Goodfellow, Bengio y Courville, Deep Learning, §5.3 describen esta separación.

Un cuaderno para aprender, otros días para elegir

Establecemos las reglas y sus números utilizando únicamente los datos de entrenamiento. La línea predice el doble de la temperatura menos 20. La curva es un arco ajustado a los tres puntos del cuaderno. Aquí, el error absoluto medio significa: calcular cuántas porciones se equivoca la predicción de cada día, ignorar el signo y promediar las diferencias.

En los días reservados, con 21°C, 23°C y 25°C, se vendieron respectivamente 23, 25 y 31 porciones. La curva predice 26,5, 30,5 y 22,5; su error medio es de unas 5,83 porciones. La línea predice 22, 26 y 30: el error es de 1 porción. Por eso elegimos la línea, aunque en el cuaderno perdía por 2 a 0. El Validation Set no mejoró ninguna regla; ayudó a elegir entre tres. Los datos son inventados y las predicciones fraccionarias representan ventas esperadas, no la división de una porción.

Después de elegir, todavía hace falta una evaluación final

Los días utilizados para elegir ya han influido en la decisión. Por eso, una tercera parte de datos, sin ejemplos compartidos con las otras, el test set, se utiliza solo para evaluar la solución elegida. En el ejemplo, la línea se equivoca en una media de 1 porción en dos días que aún no se habían mostrado. Si cambias la regla después de ver ese resultado, esos días también pasan a servir para elegir; pierden su papel de prueba independiente (§5.3).

Esta es una limitación importante: después de muchos intentos, la elección puede ajustarse al propio Validation Set y dar un resultado demasiado optimista. Aquí, tres días reservados son solo una ayuda didáctica, no una evaluación fiable de las ventas reales. Ningún porcentaje fijo de división garantiza una buena medición.

• Overfitting describe un ajuste excesivo a los ejemplos de entrenamiento; los datos separados ayudan a detectar su efecto.
• Fine-tuning es el entrenamiento adicional de un modelo existente; un Validation Set puede ayudar a elegir sus ajustes.
• Cross-entropy es otra forma de medir el error, frecuente al predecir texto; la separación de las funciones de los datos sigue siendo la misma.

El texto y la ilustración se prepararon con ayuda de IA. Los datos, las reglas y la demostración son un ejemplo simplificado propio; la ilustración es una metáfora de la elección y de conservar una muestra separada.

La regla más sencilla es una línea recta: «cada grado más son unas cuantas bolas más». En el ejemplo de esta nota, en los días apuntados suele equivocarse en 27,5 bolas, porque no ve que con el calor más fuerte las ventas bajan. Así que se le puede dar más libertad a la regla y dejar que la curva haga giros. La más flexible de las curvas probadas pasa exactamente por los 10 puntos. Su error en los días del cuaderno es 0.

Parece la regla perfecta. Solo que los días del cuaderno ya han pasado y la regla tiene que funcionar mañana. En 400 días nuevos del mismo puesto, la curva «perfecta» suele equivocarse en 236,5 bolas. Una curva moderadamente flexible, que en el cuaderno salía peor (10,9), en los días nuevos se equivoca en 16,8.

Overfitting es la situación en la que un modelo tiene un error pequeño en los datos usados para aprender y, en comparación con él, un error demasiado grande en datos nuevos del mismo tipo (Goodfellow, Bengio y Courville, Deep Learning, §5.2). El modelo se ha ajustado a rasgos de su conjunto de datos que fuera de él no se repiten. El problema contrario se llama underfitting: la regla es demasiado simple para describir bien incluso los datos que ha visto. Así se comporta la línea recta de nuestro ejemplo.

De dónde sale esa diferencia

Cada apunte del cuaderno se compone de dos cosas: una regularidad (hace más calor, así que se vende más helado) y el azar (justo ese día llegó una excursión). La regla tiene que captar la primera y dejar fuera la segunda. Pero el modelo no sabe qué es cada cosa. Solo ve puntos.

Cuánto azar absorbe el modelo depende de su flexibilidad, que en la literatura se llama capacity: la capacidad de ajustarse a muchas formas distintas. La curva del ejemplo se describe con entre 2 y 10 números que se eligen según los datos; su cantidad es el grado de la curva más uno. Una curva de grado 9 tiene 10 de esos números para 10 días, así que puede acertar en cada punto, con todo su azar incluido. Los autores del manual lo describen así: un modelo muy flexible puede representar la relación correcta, pero también muchísimas otras que encajan igual de bien con los datos de entrenamiento, y es poco probable que elija justo la que seguirá funcionando después (§5.2).

El recorrido típico es el siguiente: cuando la flexibilidad aumenta, el error en los datos de entrenamiento disminuye, y el error en datos nuevos primero disminuye y luego empieza a crecer (§5.2, figura 5.3). De ahí sale una norma práctica. Un modelo no se evalúa con los datos con los que aprendió, y la flexibilidad no se elige según el error en esos datos, porque ese error siempre señalará la mayor. Una parte de los datos se aparta: el validation set sirve para elegir los ajustes y un test set separado, para la evaluación final (§5.3).

Compruébalo tú mismo

Aquí abajo está el mismo puesto. Todos los números de esta nota se pueden reproducir: al pulsar «Desde el principio» se ven 10 días, y los experimentos 1–5 preparan los casos descritos.

Vale la pena hacer dos cosas que un gráfico estático no muestra. Primero, activa «Otros 24 cuadernos» y cambia el grado: con uno bajo, las líneas grises se mantienen cerca unas de otras; con uno alto, se separan en todas direcciones, aunque todas vienen del mismo puesto. Segundo, arrastra un punto muy hacia arriba. La curva de grado 2 se moverá solo un poco, y la de grado 9 se reconstruirá en toda su longitud para acertar en él.

Qué ayuda

• Más datos. Con 80 días, la misma curva de grado 9 suele equivocarse en 14,8 bolas en el cuaderno y en 15,9 en los días nuevos. La diferencia casi desaparece, porque la curva ya no puede acertar en cada punto (§5.2).
• Menos flexibilidad. Curva de grado 3 con 10 días: 10,9 en el cuaderno, 16,8 en los días nuevos.
• Regularization, es decir, un cambio en la forma de aprender que busca reducir el error en los datos nuevos y no en los de entrenamiento (§5.2.2). Un ejemplo es la penalización por coeficientes grandes, emparentada con Weight decay: la curva de grado 9 con penalización λ = 0,01 se equivoca en 5,8 en el cuaderno y en 21,2 en los días nuevos, en lugar de en 236,5.

Ninguno de estos ajustes se puede elegir mirando solo el error en los datos de entrenamiento.

Limitaciones

• Es un ejemplo propio, con una sola magnitud de entrada y datos simulados. El azar por sí solo da aquí un error típico de 15 bolas, y ninguna regla bajará de ahí en los días nuevos.
• La forma «primero mejor, luego peor» es típica, no está garantizada. Los autores señalan que en las redes profundas es difícil incluso determinar la flexibilidad real del modelo, porque depende también del algoritmo de aprendizaje (§5.2). Por eso el número de parámetros de un LLM no dice por sí solo si el modelo está sobreajustado.
• Un error pequeño en datos nuevos se refiere a datos de la misma fuente. Si el puesto se traslada a la orilla del mar, el cuaderno de la ciudad no promete nada.

Relaciones

• Weight decay limita el tamaño de los pesos y es una de las formas de reducir la diferencia entre el error en los datos de entrenamiento y en los nuevos.
• Grokking describe casos en los que un modelo que parece sobreajustado empieza, tras un largo entrenamiento adicional, a funcionar bien con datos nuevos.
• Fine-tuning con un conjunto pequeño exige el mismo control: datos aparte que el modelo no haya visto durante el aprendizaje.
• Catastrophic Forgetting [Polski] es otro problema: allí el modelo pierde una habilidad antigua tras un aprendizaje nuevo, y aquí desde el principio se traslada mal fuera de sus propios datos de entrenamiento.

Para la variante del 50 %, reunimos los intentos exitosos y fallidos del agente en tareas con distintos tiempos humanos. Ajustamos una curva de la probabilidad de éxito y después leemos el tiempo en el que cruza el 50 %. Es una predicción para la distribución de tareas de una duración dada; no significa que cada una de ellas tenga la misma probabilidad de completarse. METR: definición y metodología.

Un ejemplo didáctico: si la curva ajustada alcanza el 50 % a las dos horas, el horizonte es de dos horas. El agente puede completar una tarea con éxito mucho más rápido. El resultado tampoco indica por sí solo con qué éxito resolverá una tarea de otro ámbito.

La lectura exige una relación razonable entre el tiempo humano y la dificultad para la IA. Cuando la curva es plana, un cambio pequeño en la probabilidad puede desplazar mucho su cruce con el umbral. El artículo sobre la conversión del horizonte de METR muestra este problema con un ejemplo que se puede calcular y comenta un nuevo ajuste a los datos de METR. Nguyen y Fithian, §2–3.

Al comparar horizontes hay que conservar la información sobre el conjunto de tareas, el entorno del agente, el presupuesto de intentos y el umbral de éxito adoptado.

Supongamos que dos agentes resuelven las mismas tres tareas. El primero suele poder con A y B; el segundo, también con C. El porcentaje de éxitos por sí solo da una clasificación. La IRT intenta además estimar cuánto más difícil es C respecto a las demás tareas y qué diferencia de capacidad explica el patrón de respuestas. Es un ejemplo didáctico; una tabla tan pequeña no basta para un ajuste fiable.

En el sencillo modelo de Rasch, la probabilidad de éxito aumenta cuando la capacidad del agente es mayor en relación con la dificultad de la tarea. Ambas magnitudes son latentes: las inferimos de los resultados, en lugar de identificar de entrada la dificultad con la longitud de las instrucciones o con el tiempo humano. Las distintas variantes de la IRT añaden más parámetros y supuestos.

En el análisis de los horizontes de METR, los autores vinculan la dificultad latente con el tiempo de trabajo humano mediante una curva aprendida. Añaden efectos de las familias de tareas y la variabilidad de los resultados entre repeticiones. Esto permite comprobar en qué rango el tiempo distingue realmente las tareas difíciles de las fáciles para la IA. Nguyen y Fithian, §2.3 y §3.1.

Predecir bien las respuestas no demuestra que el parámetro aprendido abarque todos los tipos de capacidad del agente. Al interpretarlo hay que comprobar los supuestos del modelo y los resultados en tareas no utilizadas durante el ajuste.

Se puede entrenar al modelo con reclamaciones sin ninguna restricción. Entonces los pesos se desplazan hacia donde eso ayuda a la nueva tarea, incluidos aquellos de los que dependía reconocer entrega y devoluciones. También se puede penalizar por igual cualquier cambio, pero entonces el modelo se aferra tanto a los ajustes antiguos que aprende mal lo nuevo. Hace falta responder a la pregunta: ¿qué pesos se pueden mover y cuáles es mejor no tocar?

Elastic Weight Consolidation (EWC) añade al entrenamiento de la nueva tarea una penalización por alejar los pesos de los valores que tenían tras la tarea antigua; la penalización es mayor cuanto más importante era ese peso para la tarea antigua. Los autores lo comparan con un muelle sujeto a cada peso: rígido en los pesos importantes, flojo en los demás (Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §2).

Dos pesos, una tarea nueva

Tomemos solo dos pesos. Tras aprender entrega y devoluciones, ambos valen 1. El primero es muy importante para los departamentos antiguos (importancia 10), el segundo casi indiferente (importancia 0,1). La nueva tarea solo exige que la suma de ambos pesos sea 4. Lo cumplen muchos ajustes: (2, 2), pero también (1, 3).

• Sin protección, el entrenamiento desplaza ambos pesos por igual, hasta (2, 2). La nueva tarea queda aprendida, pero el peso importante se ha alejado en 1 y la pérdida en la tarea antigua sube de 0 a 5,05.
• Una penalización igual para ambos pesos los detiene a medio camino, en (1,67, 1,67). La tarea antigua sufre menos, pero la suma es 3,33 en lugar de 4.
• EWC traslada casi todo el movimiento al peso poco importante: (1,02, 2,80). La suma es 3,82 y la pérdida en la tarea antigua es de solo 0,16.

La pérdida es un número que indica cuánto se equivoca el modelo; cuanto menor, mejor. En el experimento siguiente puedes cambiar la fuerza de la penalización λ y el modo de protección. El resultado se calcula de forma exacta para este ejemplo de dos pesos; no es una simulación de una red real.

Cómo se sabe qué peso es importante

En una red real nadie da la importancia de antemano. Se estima al terminar la tarea antigua, mientras sus datos aún están disponibles: se comprueba cuánto altera una pequeña modificación de un peso las respuestas del modelo en los ejemplos antiguos. El trabajo usa para ello la diagonal de la matriz de información de Fisher, es decir, un número de importancia por cada peso. Después los datos pueden eliminarse; quedan los valores antiguos de los pesos y sus importancias.

Durante el nuevo entrenamiento se minimiza la suma de dos términos (ecuación 3 del trabajo):

$L_B$ es la pérdida en la nueva tarea, $\theta_i$ es el valor actual del peso número $i$, $\theta^*_{A,i}$ su valor tras la tarea antigua, $F_i$ su importancia, y $\lambda$ indica cuánto cuenta la tarea antigua frente a la nueva. En nuestro ejemplo, $F = (10;\ 0{,}1)$ y $\lambda = 1$.

Límites del método

La importancia es una aproximación calculada en un solo punto, por separado para cada peso. Los propios autores muestran que su estimación a veces está demasiado segura de qué pesos son irrelevantes, y lo llaman la principal debilidad del método (§2.2 y §3). En sus experimentos con juegos de Atari, un agente con EWC aprendió muchos juegos uno tras otro, pero no igualó a las redes separadas entrenadas para cada juego. Los resultados se refieren al reconocimiento de dígitos y a juegos, no a grandes modelos de lenguaje. Nuestros dos pesos y los mensajes de clientes son una simplificación propia.

• Catastrophic Forgetting [Polski] es un deterioro considerable de habilidades anteriores tras un nuevo entrenamiento; EWC intenta reducirlo sin acceso a los datos antiguos.
• Experience Replay resuelve el mismo problema de otra manera: guarda parte de los ejemplos anteriores en lugar de las importancias de los pesos.
• Continual Learning establece el objetivo, es decir, aprender tareas sucesivas conservando las anteriores; EWC es uno de los métodos.
• Fine-tuning es el entrenamiento posterior de un modelo ya preparado; EWC cambia su objetivo al añadir una penalización por mover los pesos importantes.

El texto y la ilustración se prepararon con ayuda de IA. Los dos pesos, sus importancias y la demostración son un ejemplo educativo propio y simplificado; la ilustración es una metáfora, no un esquema de la arquitectura del modelo.

¿Quedarte con los cuatro primeros? Entonces la memoria solo conoce el principio. ¿Guardar siempre los cuatro últimos? Entonces solo conoce el final. Un sorteo justo de «cuatro de entre todos» exigiría guardarlo todo o conocer de antemano el número de mensajes. La pregunta es: ¿cómo dar a cada mensaje la misma probabilidad con un número fijo de espacios y un flujo de longitud desconocida?

Reservoir Sampling es una forma de mantener una muestra aleatoria de tamaño fijo durante una sola pasada por unos datos cuya cantidad no conocemos de antemano. Después de cada nuevo mensaje, la memoria, llamada aquí reservorio, contiene una muestra aleatoria justa de todo lo que ha llegado hasta ese momento. La versión más sencilla, Algorithm R, la describe Vitter, Random Sampling with a Reservoir, §2, que la atribuye a Alan Waterman.

La receta en dos pasos

1. Los cuatro primeros mensajes entran en la memoria sin sorteo.
2. El mensaje número $t$ (el quinto, el sexto y cada uno de los siguientes) entra en la memoria con probabilidad $4/t$. Si entra, sustituye a uno de los cuatro guardados, elegido al azar.

Así, el quinto mensaje entra con probabilidad 4/5 y el centésimo con probabilidad 4/100. Los mensajes nuevos tienen cada vez menos probabilidad de entrar, pero los antiguos ya han estado expuestos muchas veces a ser expulsados, y estos dos efectos se compensan exactamente. Comprobémoslo después del quinto mensaje. Entra con probabilidad 4/5. El primer mensaje sale solo si el quinto entró (4/5) y cayó justo en su lugar (1/4), es decir, con probabilidad 1/5. Se queda con probabilidad 4/5: la misma que tiene el quinto. Después de $t$ mensajes, cada uno de ellos está en la memoria con probabilidad $4/t$.

La misma probabilidad no es una garantía

En el experimento, el flujo tiene 20 mensajes. Dieciocho tratan de entrega y dos, el noveno y el decimoquinto, tratan de devoluciones. Cada ejecución hace pasar ese flujo 2000 veces y cuenta con qué frecuencia cada posición quedó en la memoria al final. Los sorteos son reales, así que los resultados varían cada vez en una fracción de punto porcentual.

Con Reservoir Sampling, cada barra ronda el 20%, es decir, 4/20. Al mismo tiempo, en la mayoría de las ejecuciones ninguna de las dos devoluciones queda en la memoria. El valor exacto es 3060/4845, es decir, alrededor del 63%: esa es la parte de todos los grupos de cuatro elegidos entre 20 mensajes que se compone únicamente de los dieciocho mensajes sobre entrega. El método es justo con cada mensaje por separado, pero no se ocupa de que cada categoría tenga un representante.

Dónde importa

En el entrenamiento con repaso, Reservoir Sampling se usa a veces como forma de guardar en el búfer: no hace falta conocer la longitud del flujo ni los límites entre tareas. Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, algoritmo 2 lo usan precisamente así. En sus experimentos con tareas de imágenes funcionó bien, salvo con memorias muy pequeñas, donde las clases anteriores desaparecían del búfer; en ese caso daban mejor resultado las estrategias que cuidan una representación igual de las clases (§4.4). Es un resultado para clasificación de imágenes, no para LLM.

El algoritmo en sí no trata de aprendizaje automático. El trabajo de Vitter de 1985 describe el muestreo de registros de una cinta magnética de longitud desconocida y propone variantes más rápidas que, en lugar de sortear en cada registro, calculan cuántos registros saltarse. Los mensajes de clientes y el flujo de 20 posiciones son un ejemplo propio.

• Experience Replay necesita un búfer con ejemplos anteriores; Reservoir Sampling es una de las formas de decidir qué entra en él.
• Continual Learning supone aprender de un flujo de datos con memoria limitada, es decir, una situación en la que no se puede conservar todo.
• Catastrophic Forgetting [Polski] puede agravarse cuando de una memoria pequeña salen todos los ejemplos de una categoría anterior.

El texto y la ilustración se prepararon con ayuda de IA. El flujo de mensajes y la demostración son un ejemplo educativo propio y simplificado; la ilustración es una metáfora, no un esquema del algoritmo.

Experience Replay (ER) consiste en almacenar parte de los ejemplos anteriores y reutilizarlos para el entrenamiento. En una versión sencilla, mezclamos ejemplos de la memoria con un lote de datos nuevos. Esta memoria se llama replay buffer: un contenedor de datos para repasar, no un registro de todo lo que sabe el modelo. Este entrenamiento conjunto se describe en Chaudhry et al., Continual Learning with Tiny Episodic Memories, §2, algoritmo 1.

Qué entra en el siguiente ejercicio

Antes de perder el archivo, guardamos cuatro mensajes junto con sus departamentos correctos. Ahora tenemos cuatro reclamaciones nuevas. Sin repaso, el modelo aprende de cuatro mensajes nuevos. Con repaso, practica también con cuatro antiguos: vuelve a recibir la señal de que «¿Dónde está mi paquete?» corresponde a entrega. En este pequeño ejemplo usamos todo el búfer; los búferes mayores suelen aportar un lote obtenido por muestreo.

Sin embargo, no basta con contar los espacios de memoria. Cuatro preguntas guardadas sobre entrega no contienen ningún ejemplo de devolución. Al sustituir dos por «¿Cómo envío de vuelta mi compra?» y «Quiero devolver una camiseta», la cantidad de ejemplos repetidos no cambia, pero abarca ambos departamentos anteriores. El siguiente experimento cuenta ejemplos en un lote de datos; no predice la exactitud del modelo.

El repaso solo ayuda con los datos disponibles

El modelo recibe una oportunidad de practicar respuestas anteriores, no una garantía de conservar todas sus habilidades. Una muestra aleatoria pequeña puede omitir por completo una categoría poco frecuente; los investigadores observaron este problema con búferes muy pequeños (§4.4 del mismo trabajo). Nuestros mensajes son un ejemplo propio, no un resultado de esos experimentos. El efecto del entrenamiento debe comprobarse con mensajes antiguos y nuevos separados, que no se hayan usado para entrenar. El búfer también ocupa memoria y exige conservar los datos elegidos.

Véase también: Reservoir Sampling — una forma de decidir qué ejemplos del flujo entran en un búfer de tamaño fijo, dando a cada uno la misma probabilidad.

En los juegos, en Reinforcement Learning — aprender acciones a partir de recompensas — se guardan una situación, una acción, una recompensa y la siguiente situación. Muestrear estos registros reduce la dependencia de sucesos que ocurren inmediatamente uno tras otro (Mnih et al., Human-level control through deep reinforcement learning, Methods, «Training algorithm for deep Q-networks»). Son datos distintos de un mensaje con su departamento correcto; los resultados de Atari no deben trasladarse directamente a los LLM.

• Continual Learning establece el objetivo de seguir aprendiendo conservando las capacidades anteriores; ER es una forma de perseguirlo.
• Catastrophic Forgetting [Polski] describe un deterioro considerable de habilidades anteriores, que el repaso puede reducir.
• Fine-tuning es el entrenamiento posterior de un modelo; replay cambia la selección de sus datos. Pegar mensajes antiguos en una conversación no es este tipo de actualización del modelo.

El texto y la ilustración se prepararon con ayuda de IA. Los mensajes y la demostración son un ejemplo educativo propio y simplificado; la ilustración es una metáfora, no un esquema de la arquitectura del modelo.

Necesitas enseñar cosas nuevas al modelo conservando sus capacidades anteriores. Ese es el objetivo de Continual Learning: aprender de datos o tareas que llegan de forma sucesiva, teniendo en cuenta lo que el modelo ya ha aprendido. El nombre designa un problema y una familia de enfoques; no garantiza que desaparezca el olvido. Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, §1 describen esta necesidad.

Qué cambia en el entrenamiento y la evaluación

Supongamos que ya no está disponible el archivo completo de ejemplos usados en el entrenamiento anterior. Antes de eliminarlo, guardamos una pequeña muestra: 20 mensajes con sus departamentos correctos conocidos. Uno de los métodos posibles consiste en mezclar esta muestra con los nuevos ejemplos de reclamaciones. Así, el entrenamiento posterior también recibe una señal para seguir atendiendo correctamente «¿Dónde está mi paquete?». Reutilizar ejemplos anteriores es una de las estrategias descritas por van de Ven y Tolias, Three scenarios for continual learning, §3.3.

Véase también: Experience Replay — guardar una pequeña muestra de ejemplos anteriores y mezclarla con el nuevo entrenamiento.

El equipo de evaluación conserva una prueba independiente de mensajes antiguos, que no usamos para entrenar. Después de cada actualización, comprobamos las categorías antiguas y las nuevas. Las cifras siguientes son un ejemplo inventado, no resultados de una investigación; cada prueba contiene 100 mensajes.

La última variante conserva mejor la capacidad anterior, aunque reconoce las reclamaciones peor que la segunda. La tabla muestra qué comparar; no promete ese resultado por añadir 20 ejemplos.

Las condiciones cambian la dificultad

En nuestro ejemplo, el modelo elige entre todos los departamentos que ha aprendido. Una pista como «este mensaje pertenece a la nueva categoría» facilitaría la prueba. La disponibilidad de esas pistas y de los límites entre tareas importa al comparar métodos (van de Ven y Tolias, §2–2.3). Una muestra pequeña puede omitir preguntas poco frecuentes; un buen promedio no demuestra que se haya conservado cada capacidad.

• Catastrophic Forgetting [Polski] describe un deterioro considerable de las capacidades anteriores; su demostración muestra cómo el nuevo entrenamiento cambia los ajustes compartidos.
• Fine-tuning consiste en seguir entrenando un modelo con ejemplos seleccionados. Tras los entrenamientos sucesivos, también comprobamos sus capacidades anteriores.
• Knowledge Distillation puede transmitir indicaciones de un modelo anterior al que se está actualizando; es una estrategia distinta de conservar los mensajes originales (§3.3 del trabajo de van de Ven y Tolias).

El texto y la ilustración se prepararon con ayuda de IA; los mensajes, el tamaño de la muestra y los resultados de la tabla son un ejemplo educativo propio. La ilustración muestra el objetivo de conservar las capacidades anteriores, no la estructura del modelo.

Sequence Packing coloca varios ejemplos en una única secuencia de entrada para reducir el relleno durante el entrenamiento. En nuestro ejemplo, los tres caben en una fila de ocho posiciones: siete con datos y una vacía. No se han creado respuestas nuevas; ha cambiado su disposición. La documentación de TRL 0.29.0, SFT Trainer, sección «Packing» describe esta función.

Las ocho posiciones son una simplificación propia, no el tamaño predeterminado de una fila en TRL. Un lote habitual de ejemplos puede alinearse solo con el texto más largo; agrupar longitudes similares también reduce el espacio desperdiciado. Attention Is All You Need, §5.1, ya describe esta agrupación. El número de posiciones vacías no determina por sí solo la aceleración: también depende de cómo se ejecutan los cálculos.

Una fila compartida no tiene por qué ser una conversación compartida

Quieres que «No» siga siendo un ejemplo independiente, no una continuación de «Muchas gracias». El marcador de final es solo un token. El bloqueo habitual de acceso al futuro —Causal Masking— sigue permitiendo que un texto posterior lea el anterior dentro de la misma fila.

Para conservar la independencia, los cálculos tienen que conocer los límites de los ejemplos y bloquear el acceso a través de ellos. También hay que cuidar por separado la evaluación del error: no enseñar a predecir el primer token de «No» desde el final del texto anterior. La selección de posiciones evaluadas es Loss masking; omitir la penalización de una posición no bloquea su lectura.

En concreto, en el código de TRL 0.29.0: DataCollatorForLanguageModeling y la configuración de BFD packing, las longitudes de los ejemplos sirven para reconstruir los límites y los comienzos se omiten en la evaluación del error. Esta ejecución exige una implementación compatible de attention, el mecanismo que usa otras posiciones del texto; el código advierte de fugas de información con una configuración no compatible. Es una condición de esa solución concreta, no una propiedad de todo packing.

Comprueba dos cosas por separado

Activa el empaquetado y después desactiva la separación del acceso. Las posiciones seguirán ahorradas, pero B1 podrá usar el ejemplo A anterior. Los cuadrados representan tokens de final; A1, B1, etc. son fragmentos de texto hipotéticos. La demostración muestra las conexiones permitidas sin simular respuestas del modelo. La variante «filas completas» revela la ausencia de ahorro cuando todos los ejemplos ya llenan ocho posiciones cada uno.

Las estrategias difieren en cómo tratan los textos largos. En TRL 0.29.0, función pack_dataset, bfd ajusta ejemplos enteros a los huecos libres, pero recorta el exceso de un ejemplo demasiado largo; wrapped puede cortar el texto por la mitad. Por eso hay que comprobar tanto los datos conservados como los límites. Packing organiza las entradas del entrenamiento, incluido Fine-tuning, la adaptación adicional del modelo mediante ejemplos. No aumenta la longitud máxima de texto que admite el modelo.

Reinforcement Learning (RL) es el aprendizaje de una estrategia de acción a partir de experiencias y evaluaciones numéricas de los efectos de las acciones. El objetivo es aumentar la recompensa total esperada: el resultado que la estrategia produce en promedio tras muchos intentos. La recompensa no tiene por qué aparecer inmediatamente después de la decisión. Así describe el problema la guía oficial Spinning Up, parte 1, «Key Concepts and Terminology», «Reward and Return» y «The RL Problem».

Qué obtiene el programa de una partida

En nuestro juego, el agente es el programa que elige la ruta y el entorno es el juego que ejecuta el movimiento y concede las monedas. El programa recibe una observación, es decir, la información disponible sobre la situación, como la posición en el tablero. La policy es su regla para elegir acciones; también puede determinar las probabilidades de elegir distintos movimientos.

Después del intento A, el programa registra el resultado «2, luego 0». El intento B da «0, luego 5». El algoritmo de aprendizaje usa esas experiencias para mejorar la policy, por ejemplo, eligiendo B más a menudo en esta bifurcación. Es una descripción del objetivo, no una receta universal de actualización. Hay que relacionar el resultado 5 con la elección anterior de B. Si el programa siempre elige A, no recoge información sobre B; por eso el aprendizaje suele exigir probar también acciones menos conocidas.

El juego inventado tiene resultados fijos y dos turnos. En un entorno más difícil, el mismo movimiento puede tener efectos distintos, por lo que importa el resultado esperado y un éxito aislado no demuestra haber encontrado una buena estrategia. Comparar dos sumas conocidas tampoco constituye todavía aprendizaje.

En Behavioral cloning, el programa aprende a imitar acciones de ejemplos. En RL, la información que orienta el aprendizaje es la evaluación de los efectos. En los modelos de lenguaje, la acción puede ser generar una respuesta y la recompensa una evaluación de su corrección o utilidad. RLHF [Polski] usa para ello información procedente de personas.

Un límite importante: RL mejora el resultado según la recompensa elegida. Si los puntos premian eludir las reglas en lugar de completar la tarea, el agente puede aprender Reward hacking [Polski]. Más puntos no tienen por qué significar el comportamiento que realmente buscábamos.

Apuesta por una ruta y comprueba el segundo turno

En este experimento comparas el objetivo de dos estrategias, no entrenas a un agente. Elige una ruta y descubre el resultado posterior. El deslizador cambia la importancia de la recompensa futura, no el número de monedas recogidas.

Calculamos el return, es decir, el resultado de todo el intento: primera recompensa + γ × segunda recompensa. El símbolo γ (gamma) es el peso de la recompensa futura. Con γ = 1, contamos íntegramente ambos turnos: A da 2 y B da 5. Con γ = 0,2, obtenemos A = 2 y B = 1. Es un objetivo distinto para evaluar el mismo juego. Aquí se permiten los valores límite γ = 0 y 1 porque el intento termina después de dos turnos; no es una secuencia infinita de recompensas. Fuente del formalismo: Spinning Up, «Reward and Return».

Loss masking determina qué posiciones contribuyen a la pérdida, es decir, a la evaluación numérica del error durante el aprendizaje. Un token —un fragmento de texto— puede seguir siendo visible en la entrada aunque el modelo no sea evaluado directamente por predecirlo.

Al entrenar únicamente con las respuestas del agente, el texto del usuario y el resultado de la herramienta ayudan a elegir el siguiente paso, pero no reciben su propia penalización por la predicción. Por tanto, el modelo no tiene que aprender a generar cada parte del registro completo.

Esto difiere del enmascaramiento causal, que limita el flujo de información entre posiciones. La ausencia de un componente de pérdida para un token no tiene por qué significar que no influya en el entrenamiento: sus cálculos pueden afectar a las posiciones posteriores que sí se evalúan. El trabajo «Don’t Mask the Environment», §2, estudia las consecuencias de elegir qué fragmentos se evalúan.

Véase también: Sequence Packing muestra por qué, al combinar ejemplos, hay que controlar por separado el acceso al contexto y las posiciones evaluadas por la pérdida.

pass@k mide la probabilidad de que al menos uno de los k intentos de realizar una tarea supere la comprobación establecida. El resultado se resume sobre el conjunto de tareas. El número k forma parte del significado de la métrica porque determina el presupuesto de intentos.

En un conjunto de cuatro ejecuciones con un éxito, la estimación de pass@1 es 1/4. De las seis parejas posibles, tres contienen el éxito, por lo que la estimación de pass@2 para ese conjunto es 1/2. No debe confundirse el número de intentos recogidos para la estimación con el número de intentos permitido en la situación que se mide.

Un pass@10 alto no promete un pass@1 igual de bueno. Tampoco indica si el usuario puede identificar el intento correcto sin un comprobador. Chen y colaboradores, §3.1, describen la estimación de pass@k; el trabajo sobre agentes utiliza esta métrica en otro contexto.

Continuous Batching permite cambiar la composición del grupo de solicitudes atendidas entre las sucesivas iteraciones del modelo. Una respuesta terminada abandona el batch —el grupo procesado conjuntamente— y una nueva solicitud puede ocupar su lugar.

La respuesta larga sigue desarrollándose mientras la corta es sustituida por la siguiente. La selección de los participantes corresponde al scheduler, el programa que planifica el trabajo. No hace falta esperar al participante más lento de todo el grupo anterior.

Este aprovechamiento de las plazas puede aumentar el rendimiento, pero no garantiza una espera menor a todos los usuarios. Importan las longitudes de las solicitudes, los límites de memoria y las reglas de planificación. Con longitudes similares, la ventaja sobre un grupo fijo puede ser pequeña.

Fuente del mecanismo: Orca, §3, «Iteration-level scheduling».

Mecanismo y detalles

Es especialmente útil en Decode: una persona necesita una respuesta breve y otra varios cientos de tokens. Reunir varias solicitudes antes de ejecutar el modelo no basta para poder cambiar la composición de un batch que ya está en marcha. Una solicitud nueva también necesita Prefill; la gestión de esta etapa junto con la generación depende de la implementación del motor.

¿Debe C esperar a A?

Experimento propio: hay dos espacios disponibles. A y B están listas en el instante 0 y necesitan seis y dos rondas, respectivamente. C queda lista en el instante 1 y necesita dos rondas. En ambas variantes realizamos los mismos cálculos, pero en el grupo fijo el espacio de B no admite C hasta que termina A.

Con batching continuo, C empieza en el instante 2 y termina en el 4; con un grupo fijo, empieza en el 6 y termina en el 8. Cambia B a seis rondas: en ese caso desaparece la liberación temprana del espacio y ambas estrategias producen el mismo calendario.

Las rondas tienen aquí una duración convencional e igual. Prefill y las transferencias quedan fuera del experimento; «lista» significa lista para las rondas mostradas. En la GPU, el tiempo de una iteración depende de su trabajo, así que el número de espacios ocupados no es un porcentaje de utilización del dispositivo.

Poder incorporar una solicitud no garantiza que empiece inmediatamente: se aplican los límites de memoria y la política del planificador (Orca, §4.2). PagedAttention facilita la gestión de memoria, pero no establece por sí solo el orden de atención.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.

Prefix Caching aprovecha los resultados ya calculados de un prefijo común de tokens —fragmentos de texto— en las siguientes solicitudes. En los modelos adecuados pueden ser datos de KV Cache, que permiten omitir parte del procesamiento de la entrada.

Todavía hay que procesar la nueva pregunta y generar su respuesta. La caché no es una biblioteca de respuestas preparadas. Importa que coincidan el prefijo y las condiciones de cálculo: dos documentos de significado parecido no tienen por qué compartir una caché.

Incluso un pequeño cambio en un fragmento anterior puede impedir aprovechar los bloques posteriores. El ahorro afecta al trabajo repetido, no a todas las conversaciones; almacenar los resultados compartidos también ocupa memoria.

Fuente del mecanismo: vLLM 0.21.0, «Introduction» y «Limits».

Mecanismo y detalles

Lo que importa es un prefijo idéntico de tokens en un contexto de cálculo compatible, no la similitud de significado. Las claves y los valores de las capas posteriores dependen del contexto anterior. El mismo párrafo final después de un comienzo modificado no produce automáticamente las mismas KV.

vLLM identifica un bloque a partir de sus tokens, el identificador del bloque anterior y datos adicionales, entre ellos el identificador del adaptador LoRA y la entrada de imágenes. En la versión descrita guarda bloques completos para reutilizarlos. Véase la descripción del mecanismo Automatic Prefix Caching. La coincidencia del modelo, las posiciones y otros ajustes que afectan a KV es una condición para una reutilización correcta; comparar los textos no basta.

Un token cambiado, efectos distintos

La caché de nuestro ejemplo contiene la secuencia A B C D E F G H, dividida en bloques de dos tokens. Las letras representan identificadores de tokens convencionales. Una solicitud nueva sustituye exactamente una posición por X. Cambia su lugar y comprueba cuántos bloques completos se pueden recuperar.

Cambiar H por X deja siete tokens comunes, pero solo seis dentro de bloques completos. Cambiar A por X produce cero aciertos, aunque los siete tokens posteriores coincidan. Todas las demás condiciones son fijas en el ejemplo; la caché está disponible y no se ha eliminado nada de ella.

Es una caché de cálculos, no de respuestas preparadas. Decode debe seguir generando los tokens posteriores, y los bloques eliminados deben calcularse otra vez. PagedAttention explica la organización de la memoria en bloques.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.

PagedAttention lee la información de KV Cache almacenada en bloques que pueden encontrarse en distintas zonas de la memoria. Una tabla de bloques indica dónde encontrar el siguiente fragmento lógico de la conversación. El orden del texto sigue siendo correcto.

Si un bloque contiene las descripciones de cuatro tokens —fragmentos de texto—, tras el quinto hace falta otro bloque. El sistema no tiene que reservar de antemano espacio para la longitud máxima de cada conversación. También puede compartir bloques que no hayan cambiado, de acuerdo con las reglas de gestión de memoria.

Es una forma de direccionar y organizar los datos, no una reducción automática del contexto ni un cambio en el resultado de attention. Sigue existiendo el coste de las tablas y los bloques parcialmente llenos. El experimento muestra la separación entre el orden lógico y la ubicación física.

Fuente del mecanismo: Kwon et al., §4.1–4.3.

Mecanismo y detalles

Ejemplo propio: un bloque contiene las KV de cuatro posiciones. Para una secuencia de longitud cinco hacen falta dos bloques, es decir, ocho espacios. El primer bloque está lleno; el segundo contiene una entrada y tres espacios libres. Los bloques lógicos 0 y 1 pueden apuntar a los bloques físicos 4 y 1. No hay que mover el prefijo existente para añadir otro bloque durante Decode.

El orden del texto no es la dirección de memoria

La demostración muestra una secuencia y bloques de cuatro posiciones. Procesa las posiciones siguientes, en particular el paso de cuatro a cinco. Después cambia la distribución de los mismos datos. Suponemos una cabeza escalar: todas las claves son cero, la consulta vale 1 y los valores de las posiciones sucesivas son 1, 2, 3… Los pesos de atención son iguales y el resultado es la media de los valores. Para cinco posiciones, vale 3 en ambas distribuciones.

Es una ilustración del direccionamiento y la asignación, no una simulación del tiempo de GPU. Los espacios vacíos del último bloque siguen ocupando memoria; PagedAttention no elimina ni comprime las KV existentes. FlashAttention se centra en la organización del cálculo y las transferencias durante la atención. Estos mecanismos pueden complementarse. Compartir memoria por bloques también resulta útil en la caché de prefijos.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.

Time to First Token (TTFT) es el tiempo desde el inicio definido de la atención de una solicitud hasta el primer token, es decir, un fragmento de la respuesta. En la medición del cliente descrita, empezamos al enviar la solicitud y terminamos al recibir el primer contenido no vacío.

Si la pregunta se envió a los 0 ms y el primer texto llegó a los 800 ms, el TTFT es de 800 ms. Esta cifra puede incluir la red, la cola, la preparación de la entrada y los cálculos. Una medición del tiempo del modelo tendría otros límites.

Un TTFT bajo no garantiza que el resto fluya: tras el primer fragmento puede haber una pausa larga. Eso lo describe Inter-token Latency [Polski]. Al comparar, siempre hay que indicar desde dónde y hasta dónde se ha medido el tiempo.

Fuente del mecanismo: documentación de NVIDIA NIM Benchmarking, «Time to First Token».

Mecanismo y detalles

TTFT incluye más que Prefill: el cliente puede esperar a la red, a la preparación de la entrada, a la cola, a los cálculos y al envío del resultado. Una medición que empieza dentro del servidor tiene otros límites. No deben compararse esas cifras sin comprobar de dónde proceden sus marcas de tiempo.

El primer carácter pronto, la respuesta completa tarde

Traza de eventos propia: envío a los 0 ms, llegada al servidor a los 30 ms, preparación de 10 ms, cola de 200 ms, Prefill de 120 ms, preparación del primer resultado de 5 ms y entrega de 35 ms. El TTFT del cliente es 400 ms; el tiempo desde la llegada de la solicitud hasta la preparación del resultado en el servidor es 335 ms.

Después del primer token recibimos cuatro más, uno cada 20 ms. La respuesta completa llega a los 480 ms. Aumenta sus intervalos a 100 ms: el final pasa a los 800 ms, pero el primer token sigue llegando a los 400 ms. Después aumenta la cola y observa qué resultados cambian juntos.

Los tiempos son sintéticos, las etapas no se solapan y cada mensaje contiene un token. El streaming real puede agrupar tokens. TTFT no describe el ritmo de Decode ni el tiempo hasta recibir la respuesta completa; la documentación separa esas métricas en «Inter-token Latency» y «End-to-End Request Latency». Inter-token Latency [Polski] describe los intervalos y las pausas después del primer token. Prefix Caching puede reducir el trabajo sobre el prompt, y Continuous Batching influye en cuándo el scheduler admite la solicitud para su ejecución.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.

Decode es la etapa de generación de la continuación tras procesar la entrada inicial. En el bucle habitual, el modelo procesa el último token elegido —un fragmento de texto—, calcula las probabilidades del siguiente y una regla de selección añade uno de los candidatos.

El fragmento elegido se convierte en la entrada del siguiente paso. KV Cache conserva los resultados necesarios de cálculos anteriores, de modo que no hay que procesar de nuevo todo el historial.

Se crea una dependencia entre las elecciones sucesivas, aunque varias respuestas distintas pueden atenderse juntas. Aquí Decode significa desarrollar el texto mediante el modelo, no solo convertir los números de los tokens en caracteres. Prefill prepara el contexto inicial.

Fuente del mecanismo: Shazeer, Fast Transformer Decoding, §2.4.

Mecanismo y detalles

El primer token de la respuesta puede elegirse a partir del resultado de Prefill. Si la generación continúa, ese token se convierte en la entrada de la siguiente pasada por el modelo. Sus nuevas K y V se añaden a la caché KV, y su consulta utiliza la posición actual y las anteriores. Elegir el identificador de un token todavía no añade su representación a la caché. Esto se ve en el bucle de generación de Hugging Face, «Cache storage implementation».

Token elegido, pero aún sin procesar

El modelo miniatura propio tiene tres tokens: A, B y C. Sus vectores son, respectivamente, $(1,0)$, $(0,1)$ y $(-1,-1)$. Tomamos $Q=K=V$ iguales a esos vectores; la atención utiliza la escala $1/\sqrt{2}$. A partir del resultado $h=(h_0,h_1)$ creamos los logits $[h_1,h_0,-h_0-h_1]$, y la decodificación voraz elige el mayor.

El prompt A B produce aproximadamente $h=(0{,}330;0{,}670)$, así que la primera respuesta es A. Por ahora, la caché contiene solo las dos posiciones del prompt. La siguiente pasada será la que procese el A elegido.

Es un modelo de demostración completamente especificado, sin aprendizaje, posiciones, múltiples capas ni token de final. Su respuesta repetitiva no tiene significado lingüístico. La comparación con volver a calcular todo el prefijo comprueba la concordancia de los resultados, y el contador incluye solo las posiciones para las que se calcularon K/V.

La caché elimina los cálculos repetidos de K/V anteriores, pero attention sigue leyendo el contexto. Con batches pequeños, la transferencia de pesos o de la caché suele convertirse en el límite; depende del modelo, el hardware y la longitud de la secuencia. En la arquitectura Disaggregated Serving [Polski], Decode se ejecuta en recursos separados tras recibir la caché. En este sentido, Decode no es la conversión de identificadores de tokens de nuevo en texto mediante el tokenizador.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.

Speculative Decoding crea una propuesta de continuación más barata y luego la verifica con el modelo objetivo. En el algoritmo clásico aceptamos la secuencia inicial de tokens aprobados —fragmentos de texto— hasta el primer rechazo, y entonces calculamos una corrección.

El modelo grande puede evaluar una propuesta conocida para varias posiciones en paralelo. La variante correcta de muestreo usa probabilidades específicas de aceptación y corrección para conservar la distribución objetivo. La simple prueba «¿suena razonable?» no lo garantiza.

La aceleración depende del coste de la propuesta, el número de aceptaciones y el hardware. Si el modelo pequeño discrepa a menudo del grande, el trabajo adicional puede anular la mejora. La demostración siguiente muestra la conservación de las probabilidades, no un tiempo de ejecución garantizado.

Fuente del mecanismo: Leviathan et al., §2, algoritmo 1.

Mecanismo y detalles

Es una forma de acelerar Decode conservando la distribución del modelo objetivo bajo las condiciones del algoritmo. No basta con comprobar si la propuesta «parece buena».

Por qué hace falta una corrección

Llamemos $p$ a la distribución objetivo y $q$ a la del borrador, para el mismo prefijo y el mismo conjunto de tokens. Ambas incluyen las reglas de muestreo elegidas, por ejemplo la temperatura y el muestreo top-p. Aceptamos la propuesta $x\sim q$ con probabilidad:

La propuesta muestreada tiene $q(x)>0$. Tras rechazarla, muestreamos de una distribución proporcional a $\max(0,p-q)$. Este paso completa exactamente la masa de probabilidad que falta. Si $p=q$, no se rechaza nada y no hace falta corrección. Leviathan et al., §2.3 y demostración A.1.

Ejemplo propio: para los tokens A, B y C, sean $p=[0{,}2;0{,}5;0{,}3]$ y $q=[0{,}6;0{,}3;0{,}1]$. La masa incondicional de las propuestas aceptadas es $[0{,}2;0{,}3;0{,}1]$. Los 0,4 restantes deben repartirse a partes iguales entre B y C. Muestrear la corrección de la distribución $p$ normal daría, en cambio, el resultado $[0{,}28;0{,}50;0{,}22]$.

El experimento muestra el balance exacto de una posición, sin simular todo el bucle ni el tiempo de ejecución. Conservar la distribución no garantiza un texto idéntico con la misma semilla: los algoritmos consumen la aleatoriedad de formas distintas y los cálculos tienen precisión limitada. Chen et al., §4.2 y §6.1 lo explican.

La aceleración depende del porcentaje de aceptación, del coste del borrador y del hardware. Un borrador demasiado caro o muchos rechazos pueden anular el ahorro, aunque se conserve la distribución correcta.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.

FlashAttention organiza el cálculo de attention por bloques en la pequeña memoria rápida del chip. No guarda toda la matriz de comparaciones y pesos en la memoria grande de la GPU, la tarjeta usada para cálculos paralelos.

Cada porción aporta parte del resultado, y el algoritmo actualiza correctamente la normalización y la suma. No basta con calcular medias separadas de las porciones y promediarlas: cada porción puede tener una contribución distinta.

Se conserva la operación matemática de attention exacto, con las diferencias habituales de la aritmética computacional. Para attention denso, el número de comparaciones sigue creciendo de forma cuadrática. La mejora procede de la organización de la memoria y la ejecución, no de eliminar dependencias entre parejas.

Fuente del mecanismo: Dao et al., §2–3.2, algoritmo 1.

Mecanismo y detalles

Para la atención densa, el número de operaciones sigue creciendo cuadráticamente con la longitud de la secuencia. La ganancia procede de la organización del cálculo y de la memoria. Durante el entrenamiento se recalculan algunas cantidades en la pasada hacia atrás en lugar de almacenarlas. «Exacta» significa que no se aproxima la propia operación; un orden diferente de operaciones en coma flotante puede producir pequeñas diferencias numéricas.

No basta con promediar los resultados de los bloques

Softmax normaliza los pesos respecto a todas las claves permitidas. Los bloques pueden tener sumas de pesos sin normalizar muy distintas. Por tanto, hay que asignar a cada uno la contribución correcta al resultado.

Esto puede hacerse gradualmente, manteniendo la puntuación máxima $m$, la suma $l=\sum_j e^{s_j-m}$ y el numerador $u=\sum_j e^{s_j-m}v_j$. El resultado es $u/l$. Cuando un nuevo bloque aumenta el máximo a $m'$, hay que reescalar los anteriores $l$ y $u$ por $e^{m-m'}$ antes de añadir los nuevos términos. Milakov y Gimelshein, §3, algoritmo 3 explican el mecanismo de normalización estable.

El ejemplo propio utiliza las puntuaciones ya dadas $[0,0,\ln 3,\ln 3]$ y los valores $[0,0,1,1]$. Los pesos antes de normalizar tienen proporciones $[1,1,3,3]$, así que el resultado es $6/8=0{,}75$. Los resultados de los dos bloques son 0 y 1. Su media normal da el valor incorrecto de 0,5.

La demostración aísla la agregación para una consulta y valores escalares. El kernel completo calcula bloques de puntuaciones a partir de Q y K en la GPU; aquí, los números ya dados permiten comprobar el cálculo a mano. Cambiar el tamaño del bloque no es un benchmark.

La atención de consultas agrupadas reduce el número de cabezas K/V, y FlashAttention cambia cómo se transfieren y procesan los datos. Estas técnicas pueden combinarse. FlashAttention 2 es una evolución posterior de la implementación; el mecanismo descrito aquí procede del primer trabajo.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.

Prefill es el procesamiento de la entrada conocida, llamada prompt, antes de seguir generando. El modelo crea descripciones numéricas de los tokens —fragmentos de texto— y puede conservar parte de los resultados en KV Cache para reutilizarlos.

Como toda la entrada ya existe, muchas de sus posiciones pueden calcularse en paralelo dentro de una capa. Las reglas de acceso al contexto siguen vigentes: el trabajo paralelo no permite a una posición anterior mirar un futuro prohibido.

El resultado de la posición final permite calcular las probabilidades del primer token nuevo. Elegirlo es un paso aparte. Prefill no abarca todo el tiempo desde el envío de la pregunta: también intervienen la red, la cola y otras etapas. Decode describe el desarrollo posterior de la respuesta.

Fuente del mecanismo: NVIDIA, Mastering LLM Techniques: Inference Optimization, sección «Understanding LLM inference».

Mecanismo y detalles

El prompt conocido puede procesarse en paralelo

Todos los tokens de entrada ya están disponibles, así que dentro de una capa se pueden calcular muchas posiciones a la vez. Sigue aplicándose el enmascaramiento causal: la segunda posición no utiliza la tercera. El cálculo paralelo no elimina esta dependencia ni el orden de paso por las capas. Vaswani et al., §3.1–3.2 describen su base.

Prefill también puede procesar el prompt por partes [Polski], conservando la caché de las posiciones anteriores. La documentación de vLLM, «Chunked Prefill» describe el uso de esta división para intercalar el trabajo sobre los prompts con la generación de respuestas de otras solicitudes.

Cuatro posiciones, el mismo resultado

El ejemplo propio aísla una cabeza de atención de dimensión 1: todas las consultas y claves valen 1, y los valores son $[2,4,8,10]$. Los resultados de comparación permitidos son iguales, así que cada posición devuelve la media de los valores visibles: $[2,3,14/3,6]$. Compara el procesamiento de los cuatro a la vez con fragmentos de dos. En la segunda variante, la tercera posición debe seguir viendo las dos primeras.

Es el cálculo de una sola operación, sin los pesos de un modelo entrenado ni mediciones de GPU. En un modelo completo, la caché se mantiene por separado para cada capa. Cambiar la división puede introducir pequeñas diferencias numéricas de implementación; no cambia la máscara matemática.

Después del prompt empieza Decode, donde las siguientes entradas dependen de los tokens que se acaban de elegir. El tiempo de Prefill por sí solo no abarca toda la espera del usuario: también importan la cola, la preparación de la entrada y la entrega del resultado. Véase también: el tiempo hasta el primer token incluye la espera del cliente por el primer token, y el batching continuo permite cambiar la composición del grupo atendido entre iteraciones.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.

Grouped-Query Attention (GQA) divide las cabezas query en grupos que comparten key y value. Query es una descripción numérica que sirve para leer el contexto, key para establecer correspondencias y value para transmitir información. Cada cabeza sigue calculando sus propios pesos.

Ocho cabezas query divididas en dos grupos de cuatro significan dos conjuntos key/value, no ocho. Un único grupo da MQA; un grupo por cabeza corresponde al MHA habitual.

Con dimensiones compatibles, menos conjuntos reducen el coste de almacenar KV. Es un compromiso entre diseño y calidad, no un interruptor que garantice una velocidad concreta. El tiempo también depende del hardware y de los demás cálculos.

Mecanismo y detalles

Para $H$ cabezas de consulta y $G$ grupos obtenemos $G$ conjuntos de K/V. Cuando $G=1$, es atención multi-query. Cuando $G=H$, volvemos a la atención de múltiples cabezas. Ainslie et al., GQA, §2.2 describen esta familia y la notación GQA-g.

Calcula la memoria antes de adivinar la velocidad

Nuestro cálculo para KV Cache supone batch size 1, 32 capas, 1024 tokens almacenados, una dimensión de 128 para cada cabeza key/value y 2 bytes por número. Solo los elementos K/V ocupan:

El primer dos representa K y V. Con ocho cabezas de consulta, el resultado es 128 MiB en MHA, 32 MiB con dos cabezas KV y 16 MiB en MQA. Un MiB son $2^{20}$ bytes. No contamos los pesos del modelo, los búferes, la alineación de memoria ni la replicación entre dispositivos.

Reducir el número de cabezas KV no acorta aquí el contexto ni elimina cabezas de consulta. Limita el número de representaciones K/V separadas. El cálculo de memoria no predice la calidad ni el tiempo de ejecución; estos también dependen del entrenamiento, del hardware y de la implementación.

Al convertir el checkpoint, los autores promediaban las proyecciones de K/V dentro de los grupos y después continuaban el preentrenamiento (§2.1–2.2). Los resultados de §3 corresponden a variantes concretas de T5 y a tareas determinadas. No establecen un número universal de grupos ni garantizan conservar la calidad con solo cambiar la configuración.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.

Multi-Query Attention (MQA) mantiene múltiples query —descripciones de las necesidades de las posiciones actuales—, pero les da un conjunto común de key y value. Key sirve para establecer correspondencias y value contiene la información que se transmitirá. Todos son listas de números.

Dos cabezas pueden usar el mismo conjunto key/value y aun así repartir los pesos de forma distinta, porque tienen query diferentes. Compartir los datos no obliga a obtener un resultado idéntico.

El ahorro afecta, entre otras cosas, a KV Cache, las descripciones almacenadas del texto anterior. Sin embargo, el cambio puede afectar a la calidad y no significa una aceleración proporcional de todo el modelo. Grouped-Query Attention comparte los datos dentro de grupos más pequeños.

Mecanismo y detalles

En la atención de múltiples cabezas habitual, cada cabeza tiene sus propias proyecciones de consulta, clave y valor. MQA elimina la dimensión de cabezas de K/V y de sus proyecciones, manteniéndola en las consultas. Noam Shazeer, Fast Transformer Decoding: One Write-Head is All You Need, §3 define así esta variante.

La misma memoria, otra pregunta

Nuestro ejemplo tiene dos claves: $k_1=(1,0)$ y $k_2=(0,1)$. Dos cabezas query reciben respectivamente $q_1=(2,0)$ y $q_2=(0,2)$. Scaled Dot-Product Attention divide los productos por $\sqrt{2}$ y aplica Softmax. La primera cabeza da a las claves pesos de aproximadamente 0,804 y 0,196; la segunda invierte estas proporciones. Con unos $v_1=(1,0)$ y $v_2=(0,1)$ comunes, esas son también las coordenadas de dos resultados distintos.

De dónde procede el ahorro

La caché KV almacena las K/V anteriores. Con ocho cabezas de consulta, MHA guarda ocho conjuntos de K/V, y MQA, uno. Para la misma longitud de secuencia, dimensión de cabeza y precisión, los propios tensores de la caché son entonces ocho veces menores. Es un cálculo del tamaño, no una aceleración de ocho veces de todo el modelo.

El análisis de Shazeer en §2.4.1 y §3.1 relaciona este cambio con la transferencia de memoria durante los pasos sucesivos de generación. Sin embargo, cambia la arquitectura y su capacidad de representación; no es una eliminación sin pérdida de copias idénticas de cualquier MHA entrenado. La atención de consultas agrupadas conserva varios conjuntos de K/V como variante intermedia.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.

Beam Search conserva varias respuestas parciales con las mejores puntuaciones. En cada paso las amplía, compara las nuevas secuencias y vuelve a dejar solo un número determinado. El tamaño de este conjunto se llama beam width.

Con una anchura de dos, el sistema puede conservar los comienzos A y B en lugar de elegir A inmediatamente. En el siguiente paso compara sus continuaciones. La puntuación básica combina las probabilidades de los sucesivos tokens —fragmentos de texto—, aunque las implementaciones pueden corregir el efecto de la longitud.

Un conjunto mayor cuesta más memoria y cálculos, y aun así puede descartar el mejor camino. Una probabilidad alta de toda la secuencia tampoco garantiza la veracidad, diversidad o utilidad del texto.

Mecanismo y detalles

En el modelado autorregresivo del lenguaje, la puntuación básica de una secuencia es la suma de los logaritmos de las probabilidades de sus tokens:

Es el logaritmo del producto de las probabilidades. Una puntuación mayor es mejor; la suma evita multiplicar números muy pequeños. La documentación de Hugging Face, «Beam search» describe cómo se mantienen varias secuencias. Una anchura de 1 reduce esta variante básica a la decodificación voraz.

¿Qué prefijo descartarás demasiado pronto?

El ejemplo propio empieza con las probabilidades A = 0,45, B = 0,35 y C = 0,20. Un haz de anchura 2 descarta C. La mejor continuación de A tiene después una probabilidad de 0,4, así que la puntuación de AA es 0,18. En cambio, la ruta omitida CA obtendría $0{,}20\cdot0{,}99=0{,}198$. Una anchura de 3 conservará C y encontrará una puntuación mejor. Es un árbol pequeño y completo de dos tokens, sin final anticipado ni normalización de longitud.

La búsqueda en haz sigue siendo una aproximación: no vuelve a expandir un prefijo descartado. La anchura no indica el número de tokens muestreados de una sola distribución, como en el muestreo top-k.

En secuencias de distintas longitudes importan el token de final, la condición de parada y la función de puntuación. Por ejemplo, length_penalty en GenerationConfig divide la puntuación logarítmica por la longitud elevada a una potencia dada. No debe confundirse este criterio con la probabilidad pura. Un haz más ancho tampoco garantiza un contenido mejor; Holtzman et al., §2.2–3 tratan este problema.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.

Greedy Decoding elige en cada paso el token con la mayor puntuación, es decir, un fragmento de texto, y continúa desde esa elección. No sortea ni vuelve a los caminos omitidos.

Si A tiene una probabilidad de 0,6 y B de 0,4, elegirá A. Pero si el mejor paso siguiente tras A tiene una probabilidad de 0,51, toda la ruta tiene 0,306. La ruta por B con una continuación de 0,99 tiene 0,396. Por tanto, el líder local puede perder al evaluar juntos dos pasos.

El método es sencillo, pero no garantiza la secuencia completa más probable ni la mejor respuesta para una persona. Beam Search conserva más caminos y asume un coste adicional.

Mecanismo y detalles

La documentación de Hugging Face, «Greedy search» presenta la regla. Matemáticamente elegimos $\arg\max_v p(v\mid x_{<t})$: entre los tokens $v$ tomamos el máximo con la secuencia actual $x_{<t}$. Un empate requiere una regla de desempate fija. La ausencia de muestreo no promete un resultado idéntico si cambia el modelo, los cálculos o la configuración.

El ganador local puede perder en la secuencia completa

El ejemplo propio tiene exactamente dos pasos. Al principio, A tiene una probabilidad de 0,6, y B, de 0,4. Después de A, la mejor continuación tiene una probabilidad de 0,51; después de B, de 0,99. La decodificación voraz elegirá A y luego su mejor continuación: $0{,}6\cdot0{,}51=0{,}306$. Sin embargo, la ruta omitida a través de B tiene $0{,}4\cdot0{,}99=0{,}396$. Todas las distribuciones son inventadas y suman 1; la secuencia termina después de dos tokens.

La búsqueda en haz conserva varias secuencias parciales para posponer esa elección. En cambio, el muestreo top-k limita los candidatos para muestrear el siguiente token. Con un máximo único y $k=1$, la elección del token coincide con la decodificación voraz.

El texto más probable no tiene por qué ser verdadero ni útil. Holtzman et al., §2.2–3 distinguen entre maximizar la probabilidad y la calidad de las continuaciones abiertas. Es un problema diferente del error de búsqueda mostrado arriba.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.

Rotary Position Embedding (RoPE) rota pares de números en query y key según la posición del token, es decir, un fragmento de texto. Query y key son vectores: listas de números que se comparan en attention.

Imagina dos flechas de longitudes determinadas. La posición fija su ángulo de rotación. Al compararlas importa la diferencia de ángulos y, por tanto, la diferencia de posiciones. En un modelo real se rotan muchos pares con distintas frecuencias.

Es una analogía de una operación sobre números, no un movimiento del texto en la memoria. RoPE no prohíbe el acceso al futuro ni garantiza un buen funcionamiento más allá de las longitudes conocidas durante el entrenamiento. Difiere de sumar una señal de posición en el Positional Encoding original.

Mecanismo y detalles

A diferencia de la suma de un vector en la codificación posicional original, aquí cambia la orientación de las consultas y las claves. Para una pareja bidimensional $u=(a,b)$, la rotación de ángulo $\phi$ da:

La rotación conserva la longitud del vector. Su et al., RoFormer, §3.1–3.2 derivan la construcción y combinan muchas parejas de este tipo con frecuencias distintas.

Desplaza ambos tokens y comprueba el resultado

Si las consultas y las claves sin rotar permanecen fijas, entonces:

$m$ y $n$ son las posiciones, y $\theta$ el ángulo por unidad de distancia para esa pareja. El resultado depende de la diferencia entre posiciones. Desplazar ambas posiciones por igual rota las flechas, pero conserva su producto escalar.

El ejemplo propio utiliza $q=k=(1,0)$ y un $\theta=30^\circ$ convencional. A una distancia de 1, el producto es aproximadamente 0,866; a 6, es −1; y a 12, vuelve a ser 1. Es una pareja y una frecuencia deliberadamente sencilla, no la receta completa del modelo. El trabajo original utiliza $\theta_i=10000^{-2i/d}$ radianes para la pareja con índice $i=0,\ldots,d/2-1$.

El resultado mostrado es un componente del cálculo de la atención por producto escalar escalado, antes del escalado y de Softmax. No es una probabilidad. En esta variante rotamos Q y K; V no necesita esa rotación. RoPE no sustituye al enmascaramiento causal.

El retorno de una sola pareja a la misma orientación también muestra por qué no debe suponerse que todo resultado disminuye monótonamente con la distancia. La propiedad de las posiciones relativas no demuestra por sí sola que el modelo completo funcione correctamente con textos de longitud arbitraria.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.

KV Cache almacena key y value de las capas de attention. Son listas de números que sirven, respectivamente, para establecer correspondencias entre fragmentos y transmitir su información. No almacena una respuesta preparada ni un resumen de la conversación.

Después de procesar A, B y C, el nuevo fragmento D usa las descripciones guardadas de esas posiciones y añade las suyas. En un modelo con bloqueo del acceso al futuro, los nuevos fragmentos no cambian las descripciones anteriores, por lo que pueden reutilizarse si los ajustes coinciden.

Ahorramos repetir cálculos, pero pagamos memoria por los números almacenados. Con un contexto largo, ese coste crece. Prefill prepara la caché de la entrada conocida y Decode la amplía durante la respuesta. Sigue siendo necesario leer y combinar la información necesaria.

Mecanismo y detalles

En un modelo con enmascaramiento causal, los tokens posteriores no cambian las representaciones de las posiciones anteriores. Esto permite reutilizar la caché para el mismo prefijo y los mismos ajustes del modelo. Attention Is All You Need, §3.1 y §3.2.3, describe la base del flujo de información, y la documentación de Hugging Face: How caching works describe la actualización de la caché en cada capa.

Qué queda del paso anterior

Ilustración propia: el modelo ha procesado los tokens A, B y C. Al procesar D, utiliza las K y V guardadas de las tres posiciones anteriores y añade el par de D. Compara la consulta de la posición actual con las claves disponibles; el resultado utiliza los valores correspondientes. La caché no es una respuesta preparada ni un resumen textual de la conversación.

Almacenar los resultados tiene un coste. Un pequeño ejemplo propio para una capa: cuatro posiciones, dos cabezas KV, tres números en cada vector K y V, y cuatro bytes por número:

El primer factor 2 representa las claves y los valores separados. El resultado incluye solo los elementos de los tensores, sin la sobrecarga de asignación. Una caché dinámica completa crece con el número de posiciones almacenadas; las variantes con una ventana limitada pueden eliminar las posiciones más antiguas.

El artículo anterior sobre el escalado de la caché KV [English] desarrolla el tema del coste de memoria. El artículo sobre la transferencia de caché entre modelos [Polski] trata un problema distinto: que las dimensiones de los tensores coincidan no garantiza que su significado coincida. Cambiar el modelo o el prefijo exige volver a determinar qué parte de la caché sigue siendo válida. Véase también: PagedAttention describe la organización de la memoria por bloques, y la caché de prefijos, la reutilización de las KV de un prefijo compartido.

Knowledge Distillation consiste en entrenar un modelo estudiante usando las salidas o predicciones de un modelo profesor. El estudiante cambia realmente sus parámetros; enviar una consulta al profesor no es entrenamiento.

Si el profesor asigna a A una probabilidad de 0,60, a B de 0,35 y a C de 0,05, la etiqueta «A» omite que B es una alternativa cercana. El estudiante puede aprender a reproducir toda esa distribución. Otra variante utiliza textos completos generados por el profesor.

El profesor no tiene por qué ser un único modelo mayor, pero tradicionalmente actúa como fuente del comportamiento que se imita. La destilación también puede transmitir errores. KL Divergence ayuda a medir la concordancia de las predicciones, y On-policy self-distillation es una construcción más específica de los datos y el profesor.

Mecanismo y detalles

En Distilling the Knowledge in a Neural Network, §2, Hinton, Vinyals y Dean describen el aprendizaje con distribuciones suaves de probabilidad. Una temperatura mayor revela más información sobre las relaciones entre los candidatos. Al comparar las distribuciones se utiliza el mismo parámetro tanto en el profesor como en el estudiante. Los autores combinan este objetivo con el aprendizaje a partir de etiquetas correctas cuando están disponibles.

Más información que una sola respuesta

Nuestro ejemplo: el profesor asigna a los tokens hipotéticos A, B y C probabilidades de 0,60; 0,35; 0,05. La etiqueta «A» solo identifica al ganador. La distribución completa indica además que B era mucho más probable que C. El estudiante puede intentar reproducir esas proporciones mediante Cross-entropy o una KL Divergence dirigida de forma adecuada. Es una señal de entrenamiento adicional, no una prueba de que las etiquetas del profesor sean correctas.

En los modelos que generan texto hay que distinguir entre comparar distribuciones del siguiente token y entrenar con secuencias completas generadas. Kim y Rush, Sequence-Level Knowledge Distillation, §2.2–3.2 describen ambos enfoques para la traducción automática. En la variante de secuencia, el estudiante se entrena con las salidas encontradas por la búsqueda en haz del profesor. El texto de esa respuesta no contiene las probabilidades completas de todos los tokens alternativos.

El resultado depende del profesor, de los datos y de las capacidades del estudiante. No supone copiar todas sus habilidades ni garantiza una mejora en todas las tareas. La nota separada sobre autodestilación on-policy describe una variante particular de TTPO; sus condiciones no son la definición general de la destilación de conocimiento.

KL Divergence compara dos distribuciones de probabilidad, es decir, conjuntos de probabilidades de los mismos sucesos. Hay que indicar la distribución de referencia y la que la aproxima. La contribución de cada suceso depende de su probabilidad en la distribución de referencia y de la razón entre ambas probabilidades.

Para los números indicados, la comparación de la primera con la segunda es aproximadamente 0,368, y la inversa aproximadamente 0,511, con logaritmo natural. La dirección importa: no es una distancia simétrica como el número de kilómetros entre ciudades.

En Knowledge Distillation se pueden comparar las predicciones del profesor y del estudiante. Una KL pequeña significa concordancia, no que el profesor tenga razón. Asignar cero a un suceso con probabilidad positiva en la distribución de referencia produce matemáticamente una penalización infinita.

Mecanismo y detalles

$q_i$ y $p_i$ son las probabilidades del mismo suceso $i$, por ejemplo, un token concreto. La documentación de SciPy: entropy presenta la fórmula y la relación con Cross-entropy. Se cumple $D_{\mathrm{KL}}(q\|p)=H(q,p)-H(q)$: de Cross-entropy restamos la entropía de la distribución de referencia. Cuando $q$ es fija, esa diferencia no cambia el mínimo respecto a los parámetros del modelo que determina $p$.

La dirección de la comparación importa

Ejemplo propio: para $q=[0{,}9;0{,}1]$ y $p=[0{,}5;0{,}5]$ obtenemos aproximadamente 0,368. Al intercambiar los papeles de las distribuciones, el resultado es aproximadamente 0,511. Utilizamos el logaritmo natural, así que la unidad son los nats. La divergencia KL no es una distancia simétrica: siempre hay que decir qué distribución está a cada lado.

Si $q_i>0$ pero $p_i=0$, el resultado es infinito. El término con $q_i=0$ se considera cero. SciPy: rel_entr define estos casos límite.

En la destilación de conocimiento, la distribución de referencia puede ser la predicción del profesor, y la aproximación, la del estudiante. Un valor pequeño indica que las distribuciones coinciden en los datos evaluados, no que las respuestas del profesor sean verdaderas.

En la implementación hay que prestar atención al orden de los argumentos. PyTorch: KLDivLoss espera los logaritmos de las probabilidades del modelo como input, y la distribución de referencia como target con log_target=False. Para una matriz «ejemplos × clases», la reducción batchmean suma los términos por clases y promedia por ejemplos; mean promedia todos los elementos y produce otra escala.

Top-k Sampling sortea el siguiente token, es decir, un fragmento de texto, entre los k candidatos con las mejores puntuaciones. Excluye a los demás y recalcula las probabilidades de los conservados para que sumen uno.

Si A tiene una probabilidad de 0,5, B de 0,3 y los demás juntos de 0,2, para k=2 quedan A y B. Tras dividir por 0,8, sus probabilidades son 0,625 y 0,375. B todavía puede ganar; el método no reparte por igual entre todos.

Un k fijo determina el número de candidatos, no su fiabilidad conjunta. Con una distribución muy plana, incluso los primeros pueden tener probabilidades pequeñas. Top-p Sampling determina el conjunto según la suma de probabilidades, y Temperature regula sus proporciones.

Mecanismo y detalles

Una implementación práctica puede filtrar los logits antes de Softmax: asigna infinito negativo a las posiciones descartadas. Así, tras la normalización, su probabilidad es cero. La documentación de Transformers: TopKLogitsWarper describe este mecanismo.

Dos candidatos no significa las mismas posibilidades

Ejemplo propio para $k=2$:

A y B tenían una probabilidad conjunta de 0,80. Dividimos por esa suma: $0{,}50/0{,}80=0{,}625$ y $0{,}30/0{,}80=0{,}375$. El muestreo todavía puede elegir B. Con $k=1$ y un máximo único, siempre elegimos el token mejor puntuado.

Un $k$ fijo controla el número de candidatos, no su probabilidad conjunta antes del corte. Dos posiciones conservadas pueden concentrar casi toda la distribución o solo una pequeña parte de ella. El muestreo top-p determina el límite según la suma de probabilidades. La temperatura cambia las proporciones de las posibilidades; el escalado positivo por sí solo no altera el orden de los logits finitos.

Cuando hay empates, conviene comprobar la implementación. El código de Transformers 5.17.0 elimina los resultados estrictamente inferiores al del candidato k-ésimo. Por ello puede conservar también tokens adicionales con el mismo valor en el límite. El ejemplo de la tabla no contiene empates.

Top-p Sampling, también llamado Nucleus Sampling, elige el menor grupo inicial de candidatos ordenados por probabilidad descendente cuya suma alcanza el umbral p. Después sortea dentro de ese grupo tras recalcular las probabilidades para que sumen uno.

Para las probabilidades 0,7; 0,15; 0,1; 0,05 y un umbral de 0,75, quedan los dos primeros: juntos tienen 0,85. Para 0,4; 0,3; 0,2; 0,1, hacen falta tres. Por tanto, cada paso de generación puede admitir un número distinto de tokens —fragmentos de texto—.

El umbral no significa una probabilidad mínima de cada candidato ni una calidad garantizada de la respuesta. Top-k Sampling fija el número y top-p responde a la distribución; ninguno de esos filtros evalúa por sí solo la veracidad del texto.

Mecanismo y detalles

Holtzman et al., The Curious Case of Neural Text Degeneration, §3.1 describen el método y la normalización. En cada paso del modelado autorregresivo del lenguaje, el conjunto de candidatos se calcula de nuevo.

El mismo umbral, distinto número de tokens

Ejemplo propio para $p=0{,}75$; las filas ya contienen las probabilidades ordenadas:

En la segunda fila, A y B suman solo 0,70, así que hay que incluir C. Tras normalizar, sus probabilidades son, respectivamente, $4/9$, $3/9$ y $2/9$. D queda excluido. El umbral no significa conservar tokens de los que cada uno por separado tenga una probabilidad de al menos 0,75.

El muestreo top-k intentaría conservar el mismo número de candidatos en ambos casos. Top-p responde a la distribución de sus probabilidades. Si antes aplicamos la temperatura, cambiará la suma de las probabilidades sucesivas y el límite de corte puede quedar en otro lugar.

El trabajo estudió, entre otras cosas, la continuación abierta de texto con GPT-2 (§4.1). Sus resultados no establecen un único umbral óptimo para todos los modelos y tareas. El parámetro $p$ tampoco es la probabilidad de que la respuesta generada resulte correcta.