Volver al archivo
#ai#llm#training#papers#aigen

Pseudoetiqueta

Tienes muchos ejemplos para entrenar, pero nadie ha dado las respuestas correctas. Encargas al modelo que las estime y usas esas estimaciones como orientación para seguir aprendiendo. ¿Qué entra exactamente en los datos?

Pseudo-label es una etiqueta obtenida automáticamente, por ejemplo, mediante una predicción del modelo o la votación de varias de sus respuestas. La etiqueta es el resultado en el que se basa el aprendizaje. «Pseudo» recuerda que no es una respuesta verdadera confirmada de forma independiente.

En una votación ilustrativa, ocho soluciones dan estas respuestas: tres veces A, dos veces B y otros tres resultados distintos. A aparece más a menudo, aunque no la respalde la mayoría. Esa selección del grupo más numeroso se llama plurality. La frecuencia de una respuesta no demuestra que sea correcta.

TTPO, §3.1 y §4, usa el resultado elegido para distribuir las respuestas entre distintos procedimientos de aprendizaje. Es una forma concreta de trabajar con una pseudo-label, no una propiedad general del concepto. El riesgo principal es sencillo: si entrenamos al modelo con sus propias respuestas incorrectas como si fueran verdaderas, podemos reforzar el error.

Relaciones

La votación miente. El desacuerdo normalmente no