Traducciones disponibles

Notas

Notas sobre IA, modelos de lenguaje e ingeniería de software.

Archivo

Static HTML

Todas las notas traducidas

Todas las notas están disponibles a continuación como enlaces HTML.

2026-10-07Empaquetado de secuenciasEnseñas al modelo a escribir respuestas breves para clientes: «Muchas gracias», «No» y «Sí». Tras dividirlas en fragmentos de texto, es decir, tokens, suponemos que los ejemplos tienen 3, 2 y 2 posiciones, incluyendo el
2026-10-05Aprendizaje por refuerzoQuieres enseñar a un programa a ganar en un juego pequeño. En una bifurcación puede elegir la ruta A, recoger dos monedas de inmediato y terminar el segundo turno sin monedas nuevas. La ruta B no da nada en el primer tur
2026-09-20Predecir los resultados de los comandos ayuda en el entrenamiento posterior del agenteUn agente que trabaja en una terminal intenta ejecutar un programa. Envía un comando, lee un mensaje de error y elige la siguiente acción. Para ello, debe relacionar el resultado con el comando anterior: reconocer si fal
2026-09-20Enmascaramiento de la pérdidaEntrenas a un agente con registros de conversaciones con herramientas. El registro contiene sus órdenes y las respuestas de las herramientas. Quieres evaluarlo por determinados fragmentos, pero permitirle seguir leyendo
2026-09-20pass@kEl modelo ha preparado diez programas y uno ha superado las pruebas. ¿Significa eso que una respuesta individual tiene una buena tasa de éxito? Necesitas distinguir «funcionó a la primera» de «encontramos un éxito entre
2026-09-20Batching continuoEl servidor genera dos respuestas al mismo tiempo. Una termina pronto y la otra es larga. Si el siguiente usuario tiene que esperar a que termine toda la pareja, la plaza liberada se desperdicia durante muchos pasos. Con
2026-09-20Caché de prefijosHaces cinco preguntas sobre el mismo documento largo. Cada entrada empieza con una instrucción idéntica y el texto del documento; solo al final aparece la nueva pregunta. Volver a calcular el mismo principio repetiría el
2026-09-20PagedAttentionEl servidor atiende conversaciones de distinta longitud. Si reserva de antemano para cada una una gran zona contigua de memoria para toda la respuesta futura, parte del espacio queda sin utilizar. Quieres asignar fragmen
2026-09-20Tiempo hasta el primer tokenPulsas «Enviar» y miras el chat vacío. Para la comodidad del usuario importa cuándo aparece el principio de la respuesta, aunque escribirla entera lleve mucho más tiempo. Necesitas medir esa primera espera. Time to First
2026-09-18DecodeYa ha aparecido el primer fragmento de la respuesta. El siguiente debe tener en cuenta lo que acaba de escribirse: después de «Hoy bebo té», el modelo tiene un contexto distinto que después de «Hoy bebo agua». Hay que de
2026-09-18Decodificación especulativaEl modelo grande genera texto correctamente, pero despacio. Un modelo pequeño puede proponer con rapidez varios fragmentos siguientes. Quieres aprovechar su trabajo manteniendo el control del modelo grande sobre el resul
2026-09-18FlashAttentionAttention compara muchas parejas de fragmentos de texto. Si guardamos todos los resultados intermedios en la gran memoria de la tarjeta de cálculo, transferir los datos puede resultar costoso. Quieres realizar el mismo c
2026-09-18PrefillEnvías una pregunta larga al chat y esperas la primera palabra. Antes de añadir la respuesta, el modelo tiene que procesar el contenido que ya ha recibido. Esta etapa inicial puede exigir mucho trabajo, sobre todo con un
2026-09-18Atención de consultas agrupadasEl modelo lee el texto anterior de varias formas en paralelo. Cada uno de esos cálculos es una cabeza de atención, o attention. Quieres reducir la memoria que ocupan esas cabezas, pero compartir por completo un único con
2026-09-18Atención multi-queryEl modelo relaciona el fragmento actual del texto con la conversación anterior mediante varios cálculos paralelos. Estos cálculos se llaman cabezas de atención, o attention. Si cada cabeza almacena sus propias descripcio
2026-09-18Búsqueda en hazAl elegir el primer fragmento de una respuesta, puedes descartar demasiado pronto un camino que más adelante sería mejor. Sin embargo, comprobar todas las secuencias posibles resulta demasiado costoso. Necesitas un conju
2026-09-18Decodificación vorazEl modelo puede añadir varios fragmentos distintos. La elección más sencilla es tomar siempre el de mayor probabilidad. Eso evita considerar alternativas, pero ¿el mejor primer paso conduce a la mejor secuencia completa?
2026-09-18Embedding posicional rotatorioEl modelo compara fragmentos de texto, pero también necesita saber a qué distancia se encuentran. «Ayer» junto al verbo puede desempeñar un papel distinto que la misma palabra en una cita lejana. ¿Cómo incorporar la posi
2026-09-16Caché KVEl modelo añade una respuesta fragmento a fragmento. Ya ha calculado mucha información sobre el texto anterior, de modo que calcularla desde cero en cada paso repetiría el trabajo. Quieres recordar los resultados que sig
2026-09-16Destilación de conocimientoUn modelo grande realiza bien la tarea, pero resulta demasiado costoso para el uso cotidiano. Un modelo pequeño podría intentar reproducir su comportamiento. Sin embargo, necesita ejemplos o evaluaciones que muestren alg
2026-09-16Divergencia KLDos modelos reparten de forma distinta las probabilidades entre las mismas respuestas. Uno asigna un 90% a A y un 10% a B; el otro les da un 50% a cada una. Quieres medir qué tan bien reproduce el segundo las prediccione
2026-09-16Muestreo top-kAl sortear el siguiente fragmento, el modelo admite muchas posibilidades muy poco probables. Quieres conservar algo de diversidad, pero eliminar la cola lejana de candidatos. Puedes admitir solo un número determinado de
2026-09-16Muestreo top-pA veces el modelo tiene un líder claro y otras veces muchas continuaciones con puntuaciones parecidas. Admitir siempre cinco candidatos no tiene en cuenta esa diferencia. Quieres ajustar el tamaño del grupo según dónde s
2026-09-15Entropía cruzadaDos modelos señalan la misma palabra como la mejor continuación, pero el primero le da un 80% de probabilidad y el segundo solo un 20% . Comprobar únicamente el ganador omite esa diferencia. Al entrenar necesitamos una m
2026-09-15LoRATienes un modelo grande y quieres adaptarlo al estilo de tus documentos. Entrenar todos sus pesos —los números que controlan los cálculos— exige mucha memoria. ¿Se puede aprender solo una corrección pequeña de lo que el
2026-09-15Modelado del lenguaje enmascaradoQuieres enseñar al modelo a usar toda la frase. Ocultas un fragmento de «Ana tiene MASK » o de «Ana MASK un gato» y le pides que reconstruya el original. La información a ambos lados del hueco puede ser necesaria para re
2026-09-15PerplejidadComparas dos modelos sobre el mismo texto. Quieres saber cuál predice mejor sus fragmentos sucesivos, no solo cuál acertó más ganadores individuales. Necesitas una cifra que resuma las probabilidades asignadas a la secue
2026-09-15TemperaturaEl modelo suele elegir continuaciones parecidas y quieres regular la diversidad del muestreo. No cambias sus conocimientos ni sus pesos. Solo cambias cuánto influye la ventaja de los candidatos mejor puntuados en sus pro
2026-09-14Ajuste finoEl modelo entrenado sabe procesar el lenguaje, pero quieres que clasifique los mensajes de la empresa como «devolución», «entrega» o «pago». La habilidad general todavía no proporciona la forma de trabajar que esperas. P
2026-09-14Codificación por pares de bytesUn vocabulario que contuviera todas las palabras posibles sería enorme y seguiría careciendo de nombres nuevos. Un vocabulario de caracteres es pequeño, pero convierte el texto en una secuencia muy larga. Necesitas un co
2026-09-14Modelado autorregresivo del lenguajeEmpiezas la frase «Hoy bebo…». Después de añadir «té», las posibles continuaciones son distintas que después de «agua». El modelo tiene que considerar el texto ya elegido en cada paso siguiente, en lugar de adivinar todo
2026-09-14PreentrenamientoQuieres que el modelo reconozca relaciones en el lenguaje antes de adaptarlo a un trabajo concreto, como clasificar mensajes de clientes. Preparar manualmente respuestas para todo el texto sería inviable. Sin embargo, el
2026-09-14SoftmaxEl modelo ha puntuado tres posibles continuaciones de una frase con los números 2 , 1 y 0 . Quieres sortear una respuesta según sus probabilidades. Las puntuaciones brutas no son probabilidades: pueden ser negativas y no
2026-09-14Atención cruzadaAl traducir, el modelo tiene dos textos distintos: el original y la respuesta que está creando. Cuando añade la siguiente palabra de la traducción, necesita información del original. Mezclar solo la respuesta ya escrita
2026-09-14Embedding de tokensEl ordenador recibe un número que representa un fragmento de texto. El número 17 por sí solo no le dice qué es ese fragmento ni cómo se relaciona con otros. Necesita una descripción numérica útil que pueda transformar du
2026-09-14Enmascaramiento causalEnseñas al modelo a añadir «gato» después de «Ana tiene un». En el ejemplo preparado, la palabra «gato» ya existe. Si el modelo pudiera verla mientras predice, la tarea parecería fácil, pero no se parecería a crear una r
2026-09-14Normalización por capaA la siguiente capa llega la descripción de un fragmento con los números 2, 4 y la de otro con 20, 40 . La magnitud de la señal puede variar mucho. Quieres facilitar los cálculos convirtiendo los números de cada descripc
2026-09-14Red feed-forward por posiciónEl modelo ha recogido para un fragmento información del resto de la frase. Ahora hay que procesar esa descripción: combinar las características y calcular una representación nueva. Volver a leer otras posiciones no es la
2026-09-13Los errores de cuantización se compensan parcialmente entre las capas del modeloQuieres ejecutar un modelo de lenguaje en tu propia tarjeta gráfica, pero sus pesos ocupan demasiada memoria. Una solución es la cuantización posterior al entrenamiento: sustituyes los números guardados en el modelo ya e
2026-09-13Cuantización posterior al entrenamientoYa tienes un modelo entrenado, pero ocupa demasiada memoria para ejecutarlo en el ordenador elegido. Gran parte del espacio corresponde a los números que controlan los cálculos. ¿Se pueden guardar con menos precisión y a
2026-09-13Conexión residualEl modelo procesa la descripción del texto a través de muchas capas. Si cada capa tuviera que reconstruir toda la información desde cero, sería fácil dificultar su transmisión. Resulta útil conservar la entrada y añadirl
2026-09-13Cabeza del modelo de lenguajeEl modelo ha procesado «Hoy bebo» y tiene una descripción interna de ese contenido en forma de una lista de números. Sin embargo, el usuario espera texto. Necesitamos pasar de la descripción oculta del modelo a puntuacio
2026-09-13Atención de múltiples cabezasUna sola combinación de información puede mezclar demasiado las distintas relaciones de una frase. Al traducir, pueden ser útiles al mismo tiempo las relaciones entre personas, tiempo y forma gramatical. Queremos permiti
2026-09-13Atención por producto escalar escaladoEl modelo tiene que combinar información de varios fragmentos de una frase. Uno es más útil y otro menos. Hace falta un método concreto para calcular sus contribuciones y después reunir la información en un único resulta
2026-09-13AutoatenciónEn la frase «Ana dejó el libro porque era pesado», la palabra «era» por sí sola explica poco. Hay que relacionarla con los fragmentos anteriores. Un modelo que procesa texto necesita una forma de que la descripción de un
2026-09-13Codificación posicionalLees las frases «BMW adelantó a Volvo» y «Volvo adelantó a BMW». Contienen exactamente las mismas palabras, pero cambiar el orden invierte los papeles de los coches. Si el mecanismo del modelo solo ve las descripciones d
2026-09-13TransformerQuieres traducir la frase «El tren llegará mañana». Traducir cada palabra por separado no basta: la forma correcta depende de las demás palabras y de su orden. El modelo necesita una forma de combinar información del tex
2026-08-30El mismo ranking produce decisiones distintas al cambiar el ordenUn sistema que responde preguntas a partir de documentos suele funcionar en cuatro pasos. El buscador encuentra candidatos, el modelo de puntuación asigna a cada uno un número que indica su utilidad, un umbral descarta l
2026-08-30Puntuación pointwise por lotesTienes una pregunta y tres documentos encontrados. Quieres dar a cada uno una puntuación de utilidad, pero tres llamadas separadas al modelo repiten la misma instrucción y pregunta. Se pueden mostrar los tres juntos y pe
2026-08-30nDCG@10El buscador devuelve diez resultados. Los buenos documentos pueden estar en la lista, pero si el más útil ocupa el décimo lugar, quizá el lector no llegue a él. Necesitas una evaluación que considere tanto la relevancia
2026-08-30SFT con consistencia de ordenMuestras al modelo los mismos documentos en dos órdenes. La puntuación de uno cambia de 0,70 a 0,60 . Si después rechazas documentos por debajo de un umbral, barajarlos puede cambiar la respuesta del sistema. Quieres lim
2026-08-29Ablación por intercambioSospechas que una conexión del modelo transmite información sobre quién recibe el libro. Si introduces un cero ahí, puedes crear una situación muy distinta de los cálculos normales. Quieres cambiar la información de una
2026-08-29Circuito causalEn un modelo grande hay miles de elementos, pero una red menor de dependencias puede conducir a una respuesta concreta. Quieres comprobar si se puede conservar solo el camino de cálculo relevante y aun así reproducir el
2026-08-29Interpretabilidad mecanicistaEl modelo ha identificado a María como destinataria del libro en la frase «Juan le dio un libro a María». Una respuesta correcta todavía no explica cómo la obtuvo. Quieres comprobar qué cálculos internos causaron realmen
2026-08-28Agente que evoluciona por sí mismoEl agente ha escrito un script útil para comprobar un proyecto. En la siguiente tarea parecida empieza desde cero, aunque el procedimiento anterior podría ahorrar trabajo. Quieres que la experiencia de una tarea ayude en
2026-08-28Autodestilación on-policyQuieres mejorar el modelo, pero no tienes un profesor independiente más fuerte. Sin embargo, el mismo modelo puede recibir una pista adicional, como la respuesta en el texto de la tarea. ¿Puede su versión mejor informada
2026-08-28Bloque de accionesUn robot que avanza entre una multitud necesita algo más que una única orden de «gira ahora». Un plan breve de varios movimientos puede expresar mejor la intención: reduce la velocidad, rodea el obstáculo y vuelve a la r
2026-08-28Clonación del comportamientoQuieres enseñar al robot a esquivar obstáculos, pero buscar comportamientos desde cero sería costoso. Tienes registros de lo que hacía un buen controlador en distintas situaciones. Puedes empezar imitando esos ejemplos.
2026-08-28Control con horizonte móvilPlanificas varios pasos, pero el entorno cambia más deprisa de lo que puedes ejecutar todo el plan. El robot ve que un peatón ha girado de repente. Ejecutar la secuencia antigua hasta el final podría ser peligroso. Reced
2026-08-28CREATE-pathEl agente encuentra un script ajeno como ejemplo y escribe su propia herramienta a partir de él. El ejemplo contiene una operación peligrosa que el agente copia. El nuevo nombre y autor del archivo pueden hacer que el si
2026-08-28Cuarentena firmadaEl agente guarda una herramienta nueva en la biblioteca. Si se convierte inmediatamente en un modelo para las siguientes tareas, un error copiado o un código malicioso puede seguir propagándose. Necesitas separar la posi
2026-08-28Entrenamiento en tiempo de inferenciaEl modelo entrenado recibe una tarea de un tipo distinto a las que resolvía bien. Puedes darle más intentos con los mismos ajustes, pero también puedes intentar adaptar sus pesos mientras trabaja en la tarea nueva. Son d
2026-08-28GRPOEl modelo crea varias soluciones de la misma tarea. Algunas reciben una evaluación mejor y otras peor. Quieres aumentar la probabilidad de los mejores comportamientos comparando las respuestas dentro del grupo, sin const
2026-08-28La votación miente. El desacuerdo normalmente noEn AIME 2026, la pseudoetiqueta obtenida por votación con Qwen3 1.7B es errónea en alrededor del 85% de las tareas. Aun así se puede aprender de ella, porque entre las respuestas que no coinciden con el grupo, alrededor
2026-08-28Política de difusiónEl robot tiene que rodear a una persona. Ambos caminos, el izquierdo y el derecho, pueden ser buenos, pero su media llevaría directamente al obstáculo. Necesitas un modelo capaz de proponer distintos comportamientos cohe
2026-08-28PseudoetiquetaTienes muchos ejemplos para entrenar, pero nadie ha dado las respuestas correctas. Encargas al modelo que las estime y usas esas estimaciones como orientación para seguir aprendiendo. ¿Qué entra exactamente en los datos?
2026-08-27Escalado en tiempo de inferenciaEl modelo responde mal a una tarea difícil. En lugar de construir inmediatamente un modelo mayor, le das más tiempo: puede preparar varias soluciones, compararlas o realizar una comprobación adicional. ¿Mejorará el resul
2026-08-27Sumidero de atenciónImagina un modelo que lee una conversación durante muchas horas. Para limitar la memoria, le dejamos solo los últimos fragmentos. En algunos modelos, eliminar unos fragmentos iniciales de texto puede empeorar su funciona
2026-08-27Ventana deslizanteEl modelo crea una respuesta larga. En cada fragmento siguiente lo compara con el texto anterior, por lo que aumentan el trabajo y la memoria. ¿Qué ocurre si le permitimos usar solo el último tramo de la conversación? Sl
2026-08-26Aceleración retardadaComparas dos entrenamientos. En el primero limitas el crecimiento de los pesos y en el segundo no. Al principio, el primero obtiene un resultado peor y parece una mala elección. Hacia el final, la situación se invierte:
2026-08-26Bola multidimensionalDurante el entrenamiento no solo cambia qué conexiones son importantes, sino también la magnitud total de sus pesos, los números que controlan la influencia de las conexiones sobre el resultado. Quieres separar el cambio
2026-08-26Decaimiento de pesosEl modelo ajusta cada vez mejor los datos y los pesos —números que controlan los cálculos— se alejan de cero. Quieres limitar ese crecimiento sin corregir manualmente millones de valores. Necesitas una regla que actúe en
2026-08-26Invariancia de escalaDuplicas todos los números de una parte del modelo. ¿Cambia la respuesta? A veces la siguiente operación de normalización elimina la escala común y el resultado sigue siendo el mismo. En otras estructuras, ese reescalado
2026-08-26Norma de FrobeniusTienes una tabla de pesos con miles de números y quieres describir su magnitud total con una sola cifra. La suma habitual es engañosa: 3 y −3 se cancelan, aunque ambos valores sean grandes. Necesitas una medida que consi
2026-08-26RMSNormUna capa recibe una lista de números de gran magnitud y otra valores mucho menores. Estas diferencias de escala pueden dificultar los cálculos y el entrenamiento. Quieres uniformar el tamaño general de la señal conservan
2026-04-26Borde de estabilidadBorde de estabilidad Durante el entrenamiento, el modelo mejora sus pesos con pequeños pasos. Esperas que el error disminuya con calma. Sin embargo, en algunos experimentos el resultado oscila, las condiciones locales pa
2026-04-26GrokkingGrokking El modelo responde sin errores a las tareas usadas para aprender, pero se equivoca en ejemplos nuevos del mismo tipo. Parece que haya memorizado una tabla de respuestas. El entrenamiento continúa y solo mucho de
2026-04-26Leyes de escaladoLeyes de escalado Tienes un presupuesto para entrenar un modelo. Puedes construir uno mayor o mostrar más texto a uno pequeño. Comprobar completamente cada combinación sería costoso. Necesitas una forma de estimar qué ap
2026-04-26Neural Feature AnsatzNeural Feature Ansatz El modelo reconoce una imagen, pero no sabemos qué cambios de la entrada influyen realmente en la respuesta. ¿Los pesos aprendidos refuerzan precisamente las direcciones de cambio a las que el resul
2026-04-26Regularización implícita mediante hiperparámetrosRegularización implícita mediante hiperparámetros Dos modelos aprenden con los mismos ejemplos y alcanzan un error de entrenamiento parecido, pero uno funciona mejor con datos nuevos. Solo diferían en la forma de realiza
2026-04-26Tamaño crítico del loteTamaño crítico del batch Quieres acelerar el aprendizaje mostrando al modelo más ejemplos a la vez. Al principio ayuda. Sin embargo, a partir de cierto punto procesas muchos más datos y el número de pasos necesarios para
2026-04-26µP y transferencia de hiperparámetrosµP y transferencia de hiperparámetros Encontrar un buen paso de aprendizaje requiere pruebas. Para un modelo enorme, cada prueba es cara. ¿Se pueden encontrar buenos ajustes en una red pequeña y usarlos después de aument
2026-04-16Economía de tokensEconomía de tokens La economía de tokens en los LLM Large Language Models es el conjunto de principios, estrategias y modelos que describen cómo los costes, la gestión y el uso de los tokens unidades básicas de procesami
2026-04-15Cómputo en tiempo de inferenciaCómputo en tiempo de prueba El modelo tiene que resolver un problema difícil. Puedes pedir un intento breve o dedicar más trabajo a proponer soluciones y comprobarlas. Para describir ese coste necesitas un presupuesto de
2026-01-26Colapso neuronalColapso neuronal Enseñas al modelo a reconocer gatos, perros y pájaros en fotografías. En su interior, cada foto recibe una lista de números que describe sus características. Después de un entrenamiento exitoso, ¿siguen
2025-01-01Tipos de tokens en los LLMLos tokens son las unidades básicas de procesamiento de texto en los modelos de lenguaje. Se pueden clasificar según su papel, visibilidad y función. 1. Clasificación según el flujo de procesamiento Tipo Descripción ¿Cue
2024-01-01TokenToken Pegas una frase en el chat y el contador muestra más de diez unidades. ¿Por qué no tantas como palabras hay? El ordenador necesita una forma establecida de dividir el texto que también maneje nombres poco frecuente