Decodificación especulativa

El modelo grande genera texto correctamente, pero despacio. Un modelo pequeño puede proponer con rapidez varios fragmentos siguientes. Quieres aprovechar su trabajo manteniendo el control del modelo grande sobre el resultado final.

Speculative Decoding crea una propuesta de continuación más barata y luego la verifica con el modelo objetivo. En el algoritmo clásico aceptamos la secuencia inicial de tokens aprobados —fragmentos de texto— hasta el primer rechazo, y entonces calculamos una corrección.

El modelo grande puede evaluar una propuesta conocida para varias posiciones en paralelo. La variante correcta de muestreo usa probabilidades específicas de aceptación y corrección para conservar la distribución objetivo. La simple prueba «¿suena razonable?» no lo garantiza.

La aceleración depende del coste de la propuesta, el número de aceptaciones y el hardware. Si el modelo pequeño discrepa a menudo del grande, el trabajo adicional puede anular la mejora. La demostración siguiente muestra la conservación de las probabilidades, no un tiempo de ejecución garantizado.

Fuente del mecanismo: Leviathan et al., §2, algoritmo 1.

Mecanismo y detalles

Es una forma de acelerar Decode conservando la distribución del modelo objetivo bajo las condiciones del algoritmo. No basta con comprobar si la propuesta «parece buena».

Por qué hace falta una corrección

Llamemos $p$ a la distribución objetivo y $q$ a la del borrador, para el mismo prefijo y el mismo conjunto de tokens. Ambas incluyen las reglas de muestreo elegidas, por ejemplo la temperatura y el muestreo top-p. Aceptamos la propuesta $x\sim q$ con probabilidad:

$$\min\left(1,\frac{p(x)}{q(x)}\right)$$

La propuesta muestreada tiene $q(x)>0$. Tras rechazarla, muestreamos de una distribución proporcional a $\max(0,p-q)$. Este paso completa exactamente la masa de probabilidad que falta. Si $p=q$, no se rechaza nada y no hace falta corrección. Leviathan et al., §2.3 y demostración A.1.

Ejemplo propio: para los tokens A, B y C, sean $p=[0{,}2;0{,}5;0{,}3]$ y $q=[0{,}6;0{,}3;0{,}1]$. La masa incondicional de las propuestas aceptadas es $[0{,}2;0{,}3;0{,}1]$. Los 0,4 restantes deben repartirse a partes iguales entre B y C. Muestrear la corrección de la distribución $p$ normal daría, en cambio, el resultado $[0{,}28;0{,}50;0{,}22]$.

El experimento muestra el balance exacto de una posición, sin simular todo el bucle ni el tiempo de ejecución. Conservar la distribución no garantiza un texto idéntico con la misma semilla: los algoritmos consumen la aleatoriedad de formas distintas y los cálculos tienen precisión limitada. Chen et al., §4.2 y §6.1 lo explican.

La aceleración depende del porcentaje de aceptación, del coste del borrador y del hardware. Un borrador demasiado caro o muchos rechazos pueden anular el ahorro, aunque se conserve la distribución correcta.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.