Decodificación voraz

El modelo puede añadir varios fragmentos distintos. La elección más sencilla es tomar siempre el de mayor probabilidad. Eso evita considerar alternativas, pero ¿el mejor primer paso conduce a la mejor secuencia completa?

Greedy Decoding elige en cada paso el token con la mayor puntuación, es decir, un fragmento de texto, y continúa desde esa elección. No sortea ni vuelve a los caminos omitidos.

Si A tiene una probabilidad de 0,6 y B de 0,4, elegirá A. Pero si el mejor paso siguiente tras A tiene una probabilidad de 0,51, toda la ruta tiene 0,306. La ruta por B con una continuación de 0,99 tiene 0,396. Por tanto, el líder local puede perder al evaluar juntos dos pasos.

El método es sencillo, pero no garantiza la secuencia completa más probable ni la mejor respuesta para una persona. Beam Search conserva más caminos y asume un coste adicional.

Mecanismo y detalles

La documentación de Hugging Face, «Greedy search» presenta la regla. Matemáticamente elegimos $\arg\max_v p(v\mid x_{<t})$: entre los tokens $v$ tomamos el máximo con la secuencia actual $x_{<t}$. Un empate requiere una regla de desempate fija. La ausencia de muestreo no promete un resultado idéntico si cambia el modelo, los cálculos o la configuración.

El ganador local puede perder en la secuencia completa

El ejemplo propio tiene exactamente dos pasos. Al principio, A tiene una probabilidad de 0,6, y B, de 0,4. Después de A, la mejor continuación tiene una probabilidad de 0,51; después de B, de 0,99. La decodificación voraz elegirá A y luego su mejor continuación: $0{,}6\cdot0{,}51=0{,}306$. Sin embargo, la ruta omitida a través de B tiene $0{,}4\cdot0{,}99=0{,}396$. Todas las distribuciones son inventadas y suman 1; la secuencia termina después de dos tokens.

La búsqueda en haz conserva varias secuencias parciales para posponer esa elección. En cambio, el muestreo top-k limita los candidatos para muestrear el siguiente token. Con un máximo único y $k=1$, la elección del token coincide con la decodificación voraz.

El texto más probable no tiene por qué ser verdadero ni útil. Holtzman et al., §2.2–3 distinguen entre maximizar la probabilidad y la calidad de las continuaciones abiertas. Es un problema diferente del error de búsqueda mostrado arriba.

Utilizo contenido generado por IA como parte de mi proceso de aprendizaje diario.