Cuando un sistema de IA agente transfiere una tarea de un modelo pequeño a uno más grande (o retrocede nuevamente), paga un impuesto elevado: el modelo receptor tiene que volver a calcular toda la conversación desde cero, lo que aumenta los costos de computación y la latencia. Este es un obstáculo importante para las empresas que crean flujos de trabajo de múltiples LLM a largo plazo.
Para resolver este desafío, los investigadores de Nvidia han introducido un transferencia de caché KV entre modelos técnica que asigna directamente la caché KV precargada desde un modelo de origen al modelo de destino. Esta técnica se alinea con aplicaciones agentes del mundo real donde se acumulan grandes contextos en muchos turnos.
Para aplicaciones de IA del mundo real, la transferencia de caché KV entre modelos puede reducir los costos de computación y la latencia en flujos de trabajo de larga duración y múltiples LLM, y lo hace con matemáticas lineales simples, no con un costoso modelo de aprendizaje profundo.
Los experimentos muestran que, en pares de modelos compatibles, este proceso de mapeo lineal se ejecuta de 2,7 a 25 veces más rápido que volver a calcular la conversación y, al mismo tiempo, conserva hasta el 98 % de la precisión independiente del modelo objetivo.
Por qué es tan caro cambiar de modelo a mitad de sesión
Examinar cómo los LLM manejan la memoria ayuda a comprender por qué los flujos de trabajo multimodelo chocan con un muro de rendimiento en la producción. Cuando un LLM recibe un mensaje, primero debe ejecutar la etapa de «relleno previo», que es el paso directo inicial que calcula las claves y los valores para todos los tokens de entrada y completa la caché de valores clave (KV).
Después de eso, ingresa a la fase de «decodificación», donde calcula y genera los siguientes tokens de la secuencia. Durante esta fase, el modelo lee de este caché KV para predecir nuevos tokens uno por uno, evitando la necesidad de reevaluar todo el historial de la conversación para cada nuevo token.
En conversaciones de varios turnos o sesiones agentes de largo horizonte, el contexto se vuelve gradualmente más largo. Debido a que el costo computacional de la etapa de prellenado aumenta directamente tanto con el tamaño del modelo como con la longitud de entrada, el procesamiento de estas largas sesiones se vuelve cada vez más costoso e introduce una latencia significativa si se invalida la caché KV.
Esta invalidación ocurre cada vez que el sistema de IA intenta intercambiar modelos a mitad de sesión, como enrutar un paso de razonamiento complejo a un modelo más grande o pasar a un modelo más pequeño para ahorrar costos. Debido a que diferentes LLM tienen diferentes arquitecturas, esperan que sus entradas de caché estén en diferentes formatos.
Como resultado, cualquier cambio de modelo obliga al modelo receptor a pagar todo el costo de precarga desde cero para volver a calcular la caché KV para el contexto acumulado.
Mapeo de memoria entre modelos sin comenzar de nuevo
Los investigadores de Nvidia estudiaron la transferencia de caché KV entre modelos para ver cómo los desarrolladores pueden transformar el caché KV de un modelo al formato esperado de otro sin volver a ejecutar la fase de precarga.
Si se resuelve, la transferencia de caché KV entre modelos tiene beneficios en ambas direcciones. La transferencia de modelos pequeños a grandes mejora la calidad del resultado. Por ejemplo, un modelo pequeño y económico maneja las partes rutinarias de un flujo de trabajo agente, pero tiene problemas con un problema de razonamiento complejo, y usted asigna la caché KV a un modelo más grande y continúa el proceso sin problemas.
Por otro lado, la transferencia de modelos grandes a pequeños reduce los costos informáticos. Se podría utilizar un modelo grande y de gran capacidad para descomprimir un mensaje de sistema complejo y masivo o sintetizar un PDF denso al comienzo de una sesión. Una vez que se realiza el trabajo pesado, la caché KV de la sesión se asigna a un modelo más pequeño y económico para manejar los rápidos giros conversacionales que siguen.
Ha habido esfuerzos previos para resolver el problema de la transferencia de caché KV, pero adolecen de algunas limitaciones clave. Estos incluyen la necesidad de una costosa capacitación basada en gradientes o restricciones arquitectónicas muy estrictas.
Para este estudio inicial, los autores restringieron su enfoque a las transferencias dentro de la familia, como la transición entre modelos de diferentes tamaños en las familias Qwen, Llama o Ministral. Estos modelos comparten tokenizadores, ADN de datos de entrenamiento y estilos arquitectónicos centrales, pero difieren en tamaño y profundidad. Sin embargo, este marco deja mucho espacio para experimentos futuros. Los investigadores señalan que la técnica podría eventualmente ampliarse a transferencias entre familias, recuentos de cabezas de KV no coincidentes o arquitecturas híbridas que combinen la atención estándar con otros mecanismos de memoria.
El hallazgo clave del estudio de Nvidia es que la caché KV entre modelos es una estructura significativamente lineal. Esto significa que puede realizar el mapeo con simples trucos de álgebra y sin la necesidad de un entrenamiento intensivo de redes neuronales. Por ejemplo, al experimentar con la transferencia de caché KV desde un modelo Qwen3 de 14 mil millones de parámetros a una versión de 32 mil millones de parámetros, los autores descubrieron que un mapeo de regresión lineal simple de una capa de origen a una capa de destino puede recuperar el 56% de la varianza en las claves del objetivo y el 32% de la varianza en sus valores. Al combinar múltiples capas de origen, esas cifras aumentaron al 79% y 65% respectivamente.
Para traducir esta relación lineal en un sistema práctico, los investigadores diseñaron un mapeador de crestas por cabeza de forma cerrada con tres componentes clave:
-
Regresión de cresta por cabeza: En lugar de utilizar un aprendizaje profundo complejo para entrenar el sistema, ajustaron una regresión lineal simple utilizando un pequeño conjunto de calibración de unos cientos de secuencias de texto. Esta técnica resuelve un problema clásico de línea de mejor ajuste de forma independiente para cada cabeza de atención.
-
Selección de fuente entre capas: Debido a que los modelos de origen y de destino tienen diferentes números de capas, el mapeador evalúa y selecciona las capas de origen más predictivas para alimentar cada capa de destino específica. De esta manera, el sistema selecciona sólo las piezas de memoria más útiles del modelo anterior para construir la memoria del nuevo modelo.
-
Mapeo de contenido-espacio: Antes de traducir los datos, el mapeador elimina las codificaciones RoPE. RoPE, o incrustación de posición rotativa, es un mecanismo estándar que aplica una rotación matemática dependiente de la posición a los datos para que el modelo comprenda el orden de los tokens en una secuencia. Eliminar los valores de RoPE hace posible que el asignador generalice a secuencias de longitudes mayores que sus datos de entrenamiento.
Poniendo a prueba el mapeador lineal
Para probar si la técnica funciona, los investigadores evaluaron la tubería de transferencia en seis familias de modelos «KV coincidentes». KV coincidente significa que los modelos de origen y de destino comparten el mismo número de cabezas de KV y dimensiones por cabeza, lo cual es típico de modelos de diferentes tamaños dentro de la misma familia.
Las familias de modelos incluyeron Qwen3, Llama 3.1 y Ministral 3, con pruebas de transferencia de caché KV en diferentes tamaños que van desde 3 mil millones a 70 mil millones de parámetros. Sus experimentos incluyeron un salto masivo de parámetros de 8,8x desde Llama 3.1 8B a 70B.
Para cubrir una amplia gama de tareas, evaluaron los modelos en cinco puntos de referencia de precisión básicos (ARC-Challenge, HellaSwag, WinoGrande, MMLU y GSM8K), así como la perplejidad del modelado del lenguaje en WikiText-2 y una tarea de conversación de múltiples turnos llamada CoQA. Para ajustar el mapeador de traducción lineal, utilizaron un pequeño conjunto de datos de calibración de solo 500 secuencias de texto de 1024 tokens cada una.
Los investigadores compararon el marco con la precisión máxima de referencia en la que el modelo objetivo realiza un llenado previo completo y tradicional. También compararon su sistema completo con configuraciones eliminadas, como reducir el número de capas seleccionadas o desactivar diferentes componentes. Además, compararon su método simple con una red neuronal profunda entrenada con retropropagación para ver si un aprendizaje profundo más intenso podía recuperar la precisión en pares en los que el método lineal tenía problemas.
Para cuatro de los seis pares probados, el rápido mapeador de crestas lineal de forma cerrada retuvo del 73 % al 98 % de la precisión de precarga independiente del objetivo, incluido el salto masivo de Llama 3.1 8B a 70B, que retuvo el 72,8 % de la precisión del objetivo.
El mapeador también funciona entre 2,7 y 25 veces más rápido que el rellenado previo. Por ejemplo, al traducir un caché KV de 32,768 tokens de un modelo Qwen3 14B a un modelo 32B, la transferencia tomó solo 278 milisegundos, en comparación con casi 7 segundos para una recarga previa estándar.
El sistema también demostró una alta estabilidad en tareas que abarcan muchos pasos. Cuando se probó en conversaciones de varios turnos, la desviación o pérdida de precisión entre la línea de base del objetivo y el caché transferido permaneció increíblemente pequeña durante 10 turnos, lo que demuestra que no provocará fallas en cascada durante largas sesiones de agente.
Sin embargo, el enfoque lineal sencillo tuvo limitaciones en pares de modelos específicos. Para dos de las configuraciones Ministral, el mapeador lineal se degradó drásticamente porque el ajuste lineal simple no pudo extrapolar los datos de calibración externos. Para solucionar este problema, los investigadores cambiaron el mapeador lineal por un perceptrón multicapa (MLP) no lineal con dos capas ocultas de 1.024 unidades entrenadas con los mismos datos. Esto añadió complejidad y entrenamiento a la configuración, pero recuperó su precisión por encima del 90%.
Un problema industrial mayor que el que un periódico puede resolver
La introducción de la transferencia entre modelos es parte de un impulso más amplio en toda la industria para resolver el cuello de botella de la caché KV, que se ha convertido en uno de los obstáculos clave para escalar la IA empresarial. A medida que los desarrolladores presionan a los LLM para que procesen documentos masivos o bases de código y ejecuten tareas de razonamiento de larga duración, la gestión de esta capa de memoria se está volviendo tan importante como los propios modelos.
Durante el año pasado, los investigadores atacaron este problema de computación y memoria desde múltiples ángulos. Por ejemplo, Nvidia introdujo recientemente dispersión de la memoria dinámica (DMS), una técnica que expulsa de forma inteligente los tokens menos importantes de la caché de KV para reducir los costos de razonamiento hasta 8 veces.
Otros enfoques se centran en una compresión agresiva de datos. Los investigadores del MIT desarrollaron una técnica de compactación algebraica llamada Coincidencia de atención que comprime la caché KV 50 veces sin degradar la calidad. De manera similar, Nvidia presentó Codificación de transformación de caché KV (KVTC), que toma prestados conceptos de compresión de medios para reducir la memoria 20 veces sin alterar los pesos del modelo subyacente.
Más allá de la compresión, los investigadores también están atacando la sobrecarga computacional de la recuperación de memoria. Optimizadores como caché de índice elimine los cálculos de capas redundantes para ofrecer un tiempo de obtención del primer token significativamente más rápido en aplicaciones de contexto prolongado. Y modelos como DeepSeek y la serie GLM están optimizando la caché KV a través de innovaciones arquitectónicas.
A medida que los sistemas de IA asumen tareas con horizontes más amplios y arquitecturas más complejas, la infraestructura de memoria subyacente se está volviendo tan importante como los propios modelos. La transferencia de caché KV entre modelos ofrece a los desarrolladores una herramienta más para mantener bajos los costos de inferencia a medida que escalan sistemas agentes multimodelo.
Cuando un sistema de IA agente transfiere una tarea de un modelo pequeño a uno más grande (o retrocede nuevamente), paga un impuesto elevado: el modelo receptor tiene que volver a calcular toda la conversación desde cero, lo que aumenta los costos de computación y la latencia. Este es un obstáculo importante para las empresas que crean flujos de trabajo de múltiples LLM a largo plazo.
Para resolver este desafío, los investigadores de Nvidia han introducido un transferencia de caché KV entre modelos técnica que asigna directamente la caché KV precargada desde un modelo de origen al modelo de destino. Esta técnica se alinea con aplicaciones agentes del mundo real donde se acumulan grandes contextos en muchos turnos.
Para aplicaciones de IA del mundo real, la transferencia de caché KV entre modelos puede reducir los costos de computación y la latencia en flujos de trabajo de larga duración y múltiples LLM, y lo hace con matemáticas lineales simples, no con un costoso modelo de aprendizaje profundo.
Los experimentos muestran que, en pares de modelos compatibles, este proceso de mapeo lineal se ejecuta de 2,7 a 25 veces más rápido que volver a calcular la conversación y, al mismo tiempo, conserva hasta el 98 % de la precisión independiente del modelo objetivo.
Por qué es tan caro cambiar de modelo a mitad de sesión
Examinar cómo los LLM manejan la memoria ayuda a comprender por qué los flujos de trabajo multimodelo chocan con un muro de rendimiento en la producción. Cuando un LLM recibe un mensaje, primero debe ejecutar la etapa de «relleno previo», que es el paso directo inicial que calcula las claves y los valores para todos los tokens de entrada y completa la caché de valores clave (KV).
Después de eso, ingresa a la fase de «decodificación», donde calcula y genera los siguientes tokens de la secuencia. Durante esta fase, el modelo lee de este caché KV para predecir nuevos tokens uno por uno, evitando la necesidad de reevaluar todo el historial de la conversación para cada nuevo token.
En conversaciones de varios turnos o sesiones agentes de largo horizonte, el contexto se vuelve gradualmente más largo. Debido a que el costo computacional de la etapa de prellenado aumenta directamente tanto con el tamaño del modelo como con la longitud de entrada, el procesamiento de estas largas sesiones se vuelve cada vez más costoso e introduce una latencia significativa si se invalida la caché KV.
Esta invalidación ocurre cada vez que el sistema de IA intenta intercambiar modelos a mitad de sesión, como enrutar un paso de razonamiento complejo a un modelo más grande o pasar a un modelo más pequeño para ahorrar costos. Debido a que diferentes LLM tienen diferentes arquitecturas, esperan que sus entradas de caché estén en diferentes formatos.
Como resultado, cualquier cambio de modelo obliga al modelo receptor a pagar todo el costo de precarga desde cero para volver a calcular la caché KV para el contexto acumulado.
Mapeo de memoria entre modelos sin comenzar de nuevo
Los investigadores de Nvidia estudiaron la transferencia de caché KV entre modelos para ver cómo los desarrolladores pueden transformar el caché KV de un modelo al formato esperado de otro sin volver a ejecutar la fase de precarga.
Si se resuelve, la transferencia de caché KV entre modelos tiene beneficios en ambas direcciones. La transferencia de modelos pequeños a grandes mejora la calidad del resultado. Por ejemplo, un modelo pequeño y económico maneja las partes rutinarias de un flujo de trabajo agente, pero tiene problemas con un problema de razonamiento complejo, y usted asigna la caché KV a un modelo más grande y continúa el proceso sin problemas.
Por otro lado, la transferencia de modelos grandes a pequeños reduce los costos informáticos. Se podría utilizar un modelo grande y de gran capacidad para descomprimir un mensaje de sistema complejo y masivo o sintetizar un PDF denso al comienzo de una sesión. Una vez que se realiza el trabajo pesado, la caché KV de la sesión se asigna a un modelo más pequeño y económico para manejar los rápidos giros conversacionales que siguen.
Ha habido esfuerzos previos para resolver el problema de la transferencia de caché KV, pero adolecen de algunas limitaciones clave. Estos incluyen la necesidad de una costosa capacitación basada en gradientes o restricciones arquitectónicas muy estrictas.
Para este estudio inicial, los autores restringieron su enfoque a las transferencias dentro de la familia, como la transición entre modelos de diferentes tamaños en las familias Qwen, Llama o Ministral. Estos modelos comparten tokenizadores, ADN de datos de entrenamiento y estilos arquitectónicos centrales, pero difieren en tamaño y profundidad. Sin embargo, este marco deja mucho espacio para experimentos futuros. Los investigadores señalan que la técnica podría eventualmente ampliarse a transferencias entre familias, recuentos de cabezas de KV no coincidentes o arquitecturas híbridas que combinen la atención estándar con otros mecanismos de memoria.
El hallazgo clave del estudio de Nvidia es que la caché KV entre modelos es una estructura significativamente lineal. Esto significa que puede realizar el mapeo con simples trucos de álgebra y sin la necesidad de un entrenamiento intensivo de redes neuronales. Por ejemplo, al experimentar con la transferencia de caché KV desde un modelo Qwen3 de 14 mil millones de parámetros a una versión de 32 mil millones de parámetros, los autores descubrieron que un mapeo de regresión lineal simple de una capa de origen a una capa de destino puede recuperar el 56% de la varianza en las claves del objetivo y el 32% de la varianza en sus valores. Al combinar múltiples capas de origen, esas cifras aumentaron al 79% y 65% respectivamente.
Para traducir esta relación lineal en un sistema práctico, los investigadores diseñaron un mapeador de crestas por cabeza de forma cerrada con tres componentes clave:
-
Regresión de cresta por cabeza: En lugar de utilizar un aprendizaje profundo complejo para entrenar el sistema, ajustaron una regresión lineal simple utilizando un pequeño conjunto de calibración de unos cientos de secuencias de texto. Esta técnica resuelve un problema clásico de línea de mejor ajuste de forma independiente para cada cabeza de atención.
-
Selección de fuente entre capas: Debido a que los modelos de origen y de destino tienen diferentes números de capas, el mapeador evalúa y selecciona las capas de origen más predictivas para alimentar cada capa de destino específica. De esta manera, el sistema selecciona sólo las piezas de memoria más útiles del modelo anterior para construir la memoria del nuevo modelo.
-
Mapeo de contenido-espacio: Antes de traducir los datos, el mapeador elimina las codificaciones RoPE. RoPE, o incrustación de posición rotativa, es un mecanismo estándar que aplica una rotación matemática dependiente de la posición a los datos para que el modelo comprenda el orden de los tokens en una secuencia. Eliminar los valores de RoPE hace posible que el asignador generalice a secuencias de longitudes mayores que sus datos de entrenamiento.
Poniendo a prueba el mapeador lineal
Para probar si la técnica funciona, los investigadores evaluaron la tubería de transferencia en seis familias de modelos «KV coincidentes». KV coincidente significa que los modelos de origen y de destino comparten el mismo número de cabezas de KV y dimensiones por cabeza, lo cual es típico de modelos de diferentes tamaños dentro de la misma familia.
Las familias de modelos incluyeron Qwen3, Llama 3.1 y Ministral 3, con pruebas de transferencia de caché KV en diferentes tamaños que van desde 3 mil millones a 70 mil millones de parámetros. Sus experimentos incluyeron un salto masivo de parámetros de 8,8x desde Llama 3.1 8B a 70B.
Para cubrir una amplia gama de tareas, evaluaron los modelos en cinco puntos de referencia de precisión básicos (ARC-Challenge, HellaSwag, WinoGrande, MMLU y GSM8K), así como la perplejidad del modelado del lenguaje en WikiText-2 y una tarea de conversación de múltiples turnos llamada CoQA. Para ajustar el mapeador de traducción lineal, utilizaron un pequeño conjunto de datos de calibración de solo 500 secuencias de texto de 1024 tokens cada una.
Los investigadores compararon el marco con la precisión máxima de referencia en la que el modelo objetivo realiza un llenado previo completo y tradicional. También compararon su sistema completo con configuraciones eliminadas, como reducir el número de capas seleccionadas o desactivar diferentes componentes. Además, compararon su método simple con una red neuronal profunda entrenada con retropropagación para ver si un aprendizaje profundo más intenso podía recuperar la precisión en pares en los que el método lineal tenía problemas.
Para cuatro de los seis pares probados, el rápido mapeador de crestas lineal de forma cerrada retuvo del 73 % al 98 % de la precisión de precarga independiente del objetivo, incluido el salto masivo de Llama 3.1 8B a 70B, que retuvo el 72,8 % de la precisión del objetivo.
El mapeador también funciona entre 2,7 y 25 veces más rápido que el rellenado previo. Por ejemplo, al traducir un caché KV de 32,768 tokens de un modelo Qwen3 14B a un modelo 32B, la transferencia tomó solo 278 milisegundos, en comparación con casi 7 segundos para una recarga previa estándar.
El sistema también demostró una alta estabilidad en tareas que abarcan muchos pasos. Cuando se probó en conversaciones de varios turnos, la desviación o pérdida de precisión entre la línea de base del objetivo y el caché transferido permaneció increíblemente pequeña durante 10 turnos, lo que demuestra que no provocará fallas en cascada durante largas sesiones de agente.
Sin embargo, el enfoque lineal sencillo tuvo limitaciones en pares de modelos específicos. Para dos de las configuraciones Ministral, el mapeador lineal se degradó drásticamente porque el ajuste lineal simple no pudo extrapolar los datos de calibración externos. Para solucionar este problema, los investigadores cambiaron el mapeador lineal por un perceptrón multicapa (MLP) no lineal con dos capas ocultas de 1.024 unidades entrenadas con los mismos datos. Esto añadió complejidad y entrenamiento a la configuración, pero recuperó su precisión por encima del 90%.
Un problema industrial mayor que el que un periódico puede resolver
La introducción de la transferencia entre modelos es parte de un impulso más amplio en toda la industria para resolver el cuello de botella de la caché KV, que se ha convertido en uno de los obstáculos clave para escalar la IA empresarial. A medida que los desarrolladores presionan a los LLM para que procesen documentos masivos o bases de código y ejecuten tareas de razonamiento de larga duración, la gestión de esta capa de memoria se está volviendo tan importante como los propios modelos.
Durante el año pasado, los investigadores atacaron este problema de computación y memoria desde múltiples ángulos. Por ejemplo, Nvidia introdujo recientemente dispersión de la memoria dinámica (DMS), una técnica que expulsa de forma inteligente los tokens menos importantes de la caché de KV para reducir los costos de razonamiento hasta 8 veces.
Otros enfoques se centran en una compresión agresiva de datos. Los investigadores del MIT desarrollaron una técnica de compactación algebraica llamada Coincidencia de atención que comprime la caché KV 50 veces sin degradar la calidad. De manera similar, Nvidia presentó Codificación de transformación de caché KV (KVTC), que toma prestados conceptos de compresión de medios para reducir la memoria 20 veces sin alterar los pesos del modelo subyacente.
Más allá de la compresión, los investigadores también están atacando la sobrecarga computacional de la recuperación de memoria. Optimizadores como caché de índice elimine los cálculos de capas redundantes para ofrecer un tiempo de obtención del primer token significativamente más rápido en aplicaciones de contexto prolongado. Y modelos como DeepSeek y la serie GLM están optimizando la caché KV a través de innovaciones arquitectónicas.
A medida que los sistemas de IA asumen tareas con horizontes más amplios y arquitecturas más complejas, la infraestructura de memoria subyacente se está volviendo tan importante como los propios modelos. La transferencia de caché KV entre modelos ofrece a los desarrolladores una herramienta más para mantener bajos los costos de inferencia a medida que escalan sistemas agentes multimodelo.
Cuando un sistema de IA agente transfiere una tarea de un modelo pequeño a uno más grande (o retrocede nuevamente), paga un impuesto elevado: el modelo receptor tiene que volver a calcular toda la conversación desde cero, lo que aumenta los costos de computación y la latencia. Este es un obstáculo importante para las empresas que crean flujos de trabajo de múltiples LLM a largo plazo.
Para resolver este desafío, los investigadores de Nvidia han introducido un transferencia de caché KV entre modelos técnica que asigna directamente la caché KV precargada desde un modelo de origen al modelo de destino. Esta técnica se alinea con aplicaciones agentes del mundo real donde se acumulan grandes contextos en muchos turnos.
Para aplicaciones de IA del mundo real, la transferencia de caché KV entre modelos puede reducir los costos de computación y la latencia en flujos de trabajo de larga duración y múltiples LLM, y lo hace con matemáticas lineales simples, no con un costoso modelo de aprendizaje profundo.
Los experimentos muestran que, en pares de modelos compatibles, este proceso de mapeo lineal se ejecuta de 2,7 a 25 veces más rápido que volver a calcular la conversación y, al mismo tiempo, conserva hasta el 98 % de la precisión independiente del modelo objetivo.
Por qué es tan caro cambiar de modelo a mitad de sesión
Examinar cómo los LLM manejan la memoria ayuda a comprender por qué los flujos de trabajo multimodelo chocan con un muro de rendimiento en la producción. Cuando un LLM recibe un mensaje, primero debe ejecutar la etapa de «relleno previo», que es el paso directo inicial que calcula las claves y los valores para todos los tokens de entrada y completa la caché de valores clave (KV).
Después de eso, ingresa a la fase de «decodificación», donde calcula y genera los siguientes tokens de la secuencia. Durante esta fase, el modelo lee de este caché KV para predecir nuevos tokens uno por uno, evitando la necesidad de reevaluar todo el historial de la conversación para cada nuevo token.
En conversaciones de varios turnos o sesiones agentes de largo horizonte, el contexto se vuelve gradualmente más largo. Debido a que el costo computacional de la etapa de prellenado aumenta directamente tanto con el tamaño del modelo como con la longitud de entrada, el procesamiento de estas largas sesiones se vuelve cada vez más costoso e introduce una latencia significativa si se invalida la caché KV.
Esta invalidación ocurre cada vez que el sistema de IA intenta intercambiar modelos a mitad de sesión, como enrutar un paso de razonamiento complejo a un modelo más grande o pasar a un modelo más pequeño para ahorrar costos. Debido a que diferentes LLM tienen diferentes arquitecturas, esperan que sus entradas de caché estén en diferentes formatos.
Como resultado, cualquier cambio de modelo obliga al modelo receptor a pagar todo el costo de precarga desde cero para volver a calcular la caché KV para el contexto acumulado.
Mapeo de memoria entre modelos sin comenzar de nuevo
Los investigadores de Nvidia estudiaron la transferencia de caché KV entre modelos para ver cómo los desarrolladores pueden transformar el caché KV de un modelo al formato esperado de otro sin volver a ejecutar la fase de precarga.
Si se resuelve, la transferencia de caché KV entre modelos tiene beneficios en ambas direcciones. La transferencia de modelos pequeños a grandes mejora la calidad del resultado. Por ejemplo, un modelo pequeño y económico maneja las partes rutinarias de un flujo de trabajo agente, pero tiene problemas con un problema de razonamiento complejo, y usted asigna la caché KV a un modelo más grande y continúa el proceso sin problemas.
Por otro lado, la transferencia de modelos grandes a pequeños reduce los costos informáticos. Se podría utilizar un modelo grande y de gran capacidad para descomprimir un mensaje de sistema complejo y masivo o sintetizar un PDF denso al comienzo de una sesión. Una vez que se realiza el trabajo pesado, la caché KV de la sesión se asigna a un modelo más pequeño y económico para manejar los rápidos giros conversacionales que siguen.
Ha habido esfuerzos previos para resolver el problema de la transferencia de caché KV, pero adolecen de algunas limitaciones clave. Estos incluyen la necesidad de una costosa capacitación basada en gradientes o restricciones arquitectónicas muy estrictas.
Para este estudio inicial, los autores restringieron su enfoque a las transferencias dentro de la familia, como la transición entre modelos de diferentes tamaños en las familias Qwen, Llama o Ministral. Estos modelos comparten tokenizadores, ADN de datos de entrenamiento y estilos arquitectónicos centrales, pero difieren en tamaño y profundidad. Sin embargo, este marco deja mucho espacio para experimentos futuros. Los investigadores señalan que la técnica podría eventualmente ampliarse a transferencias entre familias, recuentos de cabezas de KV no coincidentes o arquitecturas híbridas que combinen la atención estándar con otros mecanismos de memoria.
El hallazgo clave del estudio de Nvidia es que la caché KV entre modelos es una estructura significativamente lineal. Esto significa que puede realizar el mapeo con simples trucos de álgebra y sin la necesidad de un entrenamiento intensivo de redes neuronales. Por ejemplo, al experimentar con la transferencia de caché KV desde un modelo Qwen3 de 14 mil millones de parámetros a una versión de 32 mil millones de parámetros, los autores descubrieron que un mapeo de regresión lineal simple de una capa de origen a una capa de destino puede recuperar el 56% de la varianza en las claves del objetivo y el 32% de la varianza en sus valores. Al combinar múltiples capas de origen, esas cifras aumentaron al 79% y 65% respectivamente.
Para traducir esta relación lineal en un sistema práctico, los investigadores diseñaron un mapeador de crestas por cabeza de forma cerrada con tres componentes clave:
-
Regresión de cresta por cabeza: En lugar de utilizar un aprendizaje profundo complejo para entrenar el sistema, ajustaron una regresión lineal simple utilizando un pequeño conjunto de calibración de unos cientos de secuencias de texto. Esta técnica resuelve un problema clásico de línea de mejor ajuste de forma independiente para cada cabeza de atención.
-
Selección de fuente entre capas: Debido a que los modelos de origen y de destino tienen diferentes números de capas, el mapeador evalúa y selecciona las capas de origen más predictivas para alimentar cada capa de destino específica. De esta manera, el sistema selecciona sólo las piezas de memoria más útiles del modelo anterior para construir la memoria del nuevo modelo.
-
Mapeo de contenido-espacio: Antes de traducir los datos, el mapeador elimina las codificaciones RoPE. RoPE, o incrustación de posición rotativa, es un mecanismo estándar que aplica una rotación matemática dependiente de la posición a los datos para que el modelo comprenda el orden de los tokens en una secuencia. Eliminar los valores de RoPE hace posible que el asignador generalice a secuencias de longitudes mayores que sus datos de entrenamiento.
Poniendo a prueba el mapeador lineal
Para probar si la técnica funciona, los investigadores evaluaron la tubería de transferencia en seis familias de modelos «KV coincidentes». KV coincidente significa que los modelos de origen y de destino comparten el mismo número de cabezas de KV y dimensiones por cabeza, lo cual es típico de modelos de diferentes tamaños dentro de la misma familia.
Las familias de modelos incluyeron Qwen3, Llama 3.1 y Ministral 3, con pruebas de transferencia de caché KV en diferentes tamaños que van desde 3 mil millones a 70 mil millones de parámetros. Sus experimentos incluyeron un salto masivo de parámetros de 8,8x desde Llama 3.1 8B a 70B.
Para cubrir una amplia gama de tareas, evaluaron los modelos en cinco puntos de referencia de precisión básicos (ARC-Challenge, HellaSwag, WinoGrande, MMLU y GSM8K), así como la perplejidad del modelado del lenguaje en WikiText-2 y una tarea de conversación de múltiples turnos llamada CoQA. Para ajustar el mapeador de traducción lineal, utilizaron un pequeño conjunto de datos de calibración de solo 500 secuencias de texto de 1024 tokens cada una.
Los investigadores compararon el marco con la precisión máxima de referencia en la que el modelo objetivo realiza un llenado previo completo y tradicional. También compararon su sistema completo con configuraciones eliminadas, como reducir el número de capas seleccionadas o desactivar diferentes componentes. Además, compararon su método simple con una red neuronal profunda entrenada con retropropagación para ver si un aprendizaje profundo más intenso podía recuperar la precisión en pares en los que el método lineal tenía problemas.
Para cuatro de los seis pares probados, el rápido mapeador de crestas lineal de forma cerrada retuvo del 73 % al 98 % de la precisión de precarga independiente del objetivo, incluido el salto masivo de Llama 3.1 8B a 70B, que retuvo el 72,8 % de la precisión del objetivo.
El mapeador también funciona entre 2,7 y 25 veces más rápido que el rellenado previo. Por ejemplo, al traducir un caché KV de 32,768 tokens de un modelo Qwen3 14B a un modelo 32B, la transferencia tomó solo 278 milisegundos, en comparación con casi 7 segundos para una recarga previa estándar.
El sistema también demostró una alta estabilidad en tareas que abarcan muchos pasos. Cuando se probó en conversaciones de varios turnos, la desviación o pérdida de precisión entre la línea de base del objetivo y el caché transferido permaneció increíblemente pequeña durante 10 turnos, lo que demuestra que no provocará fallas en cascada durante largas sesiones de agente.
Sin embargo, el enfoque lineal sencillo tuvo limitaciones en pares de modelos específicos. Para dos de las configuraciones Ministral, el mapeador lineal se degradó drásticamente porque el ajuste lineal simple no pudo extrapolar los datos de calibración externos. Para solucionar este problema, los investigadores cambiaron el mapeador lineal por un perceptrón multicapa (MLP) no lineal con dos capas ocultas de 1.024 unidades entrenadas con los mismos datos. Esto añadió complejidad y entrenamiento a la configuración, pero recuperó su precisión por encima del 90%.
Un problema industrial mayor que el que un periódico puede resolver
La introducción de la transferencia entre modelos es parte de un impulso más amplio en toda la industria para resolver el cuello de botella de la caché KV, que se ha convertido en uno de los obstáculos clave para escalar la IA empresarial. A medida que los desarrolladores presionan a los LLM para que procesen documentos masivos o bases de código y ejecuten tareas de razonamiento de larga duración, la gestión de esta capa de memoria se está volviendo tan importante como los propios modelos.
Durante el año pasado, los investigadores atacaron este problema de computación y memoria desde múltiples ángulos. Por ejemplo, Nvidia introdujo recientemente dispersión de la memoria dinámica (DMS), una técnica que expulsa de forma inteligente los tokens menos importantes de la caché de KV para reducir los costos de razonamiento hasta 8 veces.
Otros enfoques se centran en una compresión agresiva de datos. Los investigadores del MIT desarrollaron una técnica de compactación algebraica llamada Coincidencia de atención que comprime la caché KV 50 veces sin degradar la calidad. De manera similar, Nvidia presentó Codificación de transformación de caché KV (KVTC), que toma prestados conceptos de compresión de medios para reducir la memoria 20 veces sin alterar los pesos del modelo subyacente.
Más allá de la compresión, los investigadores también están atacando la sobrecarga computacional de la recuperación de memoria. Optimizadores como caché de índice elimine los cálculos de capas redundantes para ofrecer un tiempo de obtención del primer token significativamente más rápido en aplicaciones de contexto prolongado. Y modelos como DeepSeek y la serie GLM están optimizando la caché KV a través de innovaciones arquitectónicas.
A medida que los sistemas de IA asumen tareas con horizontes más amplios y arquitecturas más complejas, la infraestructura de memoria subyacente se está volviendo tan importante como los propios modelos. La transferencia de caché KV entre modelos ofrece a los desarrolladores una herramienta más para mantener bajos los costos de inferencia a medida que escalan sistemas agentes multimodelo.
Cuando un sistema de IA agente transfiere una tarea de un modelo pequeño a uno más grande (o retrocede nuevamente), paga un impuesto elevado: el modelo receptor tiene que volver a calcular toda la conversación desde cero, lo que aumenta los costos de computación y la latencia. Este es un obstáculo importante para las empresas que crean flujos de trabajo de múltiples LLM a largo plazo.
Para resolver este desafío, los investigadores de Nvidia han introducido un transferencia de caché KV entre modelos técnica que asigna directamente la caché KV precargada desde un modelo de origen al modelo de destino. Esta técnica se alinea con aplicaciones agentes del mundo real donde se acumulan grandes contextos en muchos turnos.
Para aplicaciones de IA del mundo real, la transferencia de caché KV entre modelos puede reducir los costos de computación y la latencia en flujos de trabajo de larga duración y múltiples LLM, y lo hace con matemáticas lineales simples, no con un costoso modelo de aprendizaje profundo.
Los experimentos muestran que, en pares de modelos compatibles, este proceso de mapeo lineal se ejecuta de 2,7 a 25 veces más rápido que volver a calcular la conversación y, al mismo tiempo, conserva hasta el 98 % de la precisión independiente del modelo objetivo.
Por qué es tan caro cambiar de modelo a mitad de sesión
Examinar cómo los LLM manejan la memoria ayuda a comprender por qué los flujos de trabajo multimodelo chocan con un muro de rendimiento en la producción. Cuando un LLM recibe un mensaje, primero debe ejecutar la etapa de «relleno previo», que es el paso directo inicial que calcula las claves y los valores para todos los tokens de entrada y completa la caché de valores clave (KV).
Después de eso, ingresa a la fase de «decodificación», donde calcula y genera los siguientes tokens de la secuencia. Durante esta fase, el modelo lee de este caché KV para predecir nuevos tokens uno por uno, evitando la necesidad de reevaluar todo el historial de la conversación para cada nuevo token.
En conversaciones de varios turnos o sesiones agentes de largo horizonte, el contexto se vuelve gradualmente más largo. Debido a que el costo computacional de la etapa de prellenado aumenta directamente tanto con el tamaño del modelo como con la longitud de entrada, el procesamiento de estas largas sesiones se vuelve cada vez más costoso e introduce una latencia significativa si se invalida la caché KV.
Esta invalidación ocurre cada vez que el sistema de IA intenta intercambiar modelos a mitad de sesión, como enrutar un paso de razonamiento complejo a un modelo más grande o pasar a un modelo más pequeño para ahorrar costos. Debido a que diferentes LLM tienen diferentes arquitecturas, esperan que sus entradas de caché estén en diferentes formatos.
Como resultado, cualquier cambio de modelo obliga al modelo receptor a pagar todo el costo de precarga desde cero para volver a calcular la caché KV para el contexto acumulado.
Mapeo de memoria entre modelos sin comenzar de nuevo
Los investigadores de Nvidia estudiaron la transferencia de caché KV entre modelos para ver cómo los desarrolladores pueden transformar el caché KV de un modelo al formato esperado de otro sin volver a ejecutar la fase de precarga.
Si se resuelve, la transferencia de caché KV entre modelos tiene beneficios en ambas direcciones. La transferencia de modelos pequeños a grandes mejora la calidad del resultado. Por ejemplo, un modelo pequeño y económico maneja las partes rutinarias de un flujo de trabajo agente, pero tiene problemas con un problema de razonamiento complejo, y usted asigna la caché KV a un modelo más grande y continúa el proceso sin problemas.
Por otro lado, la transferencia de modelos grandes a pequeños reduce los costos informáticos. Se podría utilizar un modelo grande y de gran capacidad para descomprimir un mensaje de sistema complejo y masivo o sintetizar un PDF denso al comienzo de una sesión. Una vez que se realiza el trabajo pesado, la caché KV de la sesión se asigna a un modelo más pequeño y económico para manejar los rápidos giros conversacionales que siguen.
Ha habido esfuerzos previos para resolver el problema de la transferencia de caché KV, pero adolecen de algunas limitaciones clave. Estos incluyen la necesidad de una costosa capacitación basada en gradientes o restricciones arquitectónicas muy estrictas.
Para este estudio inicial, los autores restringieron su enfoque a las transferencias dentro de la familia, como la transición entre modelos de diferentes tamaños en las familias Qwen, Llama o Ministral. Estos modelos comparten tokenizadores, ADN de datos de entrenamiento y estilos arquitectónicos centrales, pero difieren en tamaño y profundidad. Sin embargo, este marco deja mucho espacio para experimentos futuros. Los investigadores señalan que la técnica podría eventualmente ampliarse a transferencias entre familias, recuentos de cabezas de KV no coincidentes o arquitecturas híbridas que combinen la atención estándar con otros mecanismos de memoria.
El hallazgo clave del estudio de Nvidia es que la caché KV entre modelos es una estructura significativamente lineal. Esto significa que puede realizar el mapeo con simples trucos de álgebra y sin la necesidad de un entrenamiento intensivo de redes neuronales. Por ejemplo, al experimentar con la transferencia de caché KV desde un modelo Qwen3 de 14 mil millones de parámetros a una versión de 32 mil millones de parámetros, los autores descubrieron que un mapeo de regresión lineal simple de una capa de origen a una capa de destino puede recuperar el 56% de la varianza en las claves del objetivo y el 32% de la varianza en sus valores. Al combinar múltiples capas de origen, esas cifras aumentaron al 79% y 65% respectivamente.
Para traducir esta relación lineal en un sistema práctico, los investigadores diseñaron un mapeador de crestas por cabeza de forma cerrada con tres componentes clave:
-
Regresión de cresta por cabeza: En lugar de utilizar un aprendizaje profundo complejo para entrenar el sistema, ajustaron una regresión lineal simple utilizando un pequeño conjunto de calibración de unos cientos de secuencias de texto. Esta técnica resuelve un problema clásico de línea de mejor ajuste de forma independiente para cada cabeza de atención.
-
Selección de fuente entre capas: Debido a que los modelos de origen y de destino tienen diferentes números de capas, el mapeador evalúa y selecciona las capas de origen más predictivas para alimentar cada capa de destino específica. De esta manera, el sistema selecciona sólo las piezas de memoria más útiles del modelo anterior para construir la memoria del nuevo modelo.
-
Mapeo de contenido-espacio: Antes de traducir los datos, el mapeador elimina las codificaciones RoPE. RoPE, o incrustación de posición rotativa, es un mecanismo estándar que aplica una rotación matemática dependiente de la posición a los datos para que el modelo comprenda el orden de los tokens en una secuencia. Eliminar los valores de RoPE hace posible que el asignador generalice a secuencias de longitudes mayores que sus datos de entrenamiento.
Poniendo a prueba el mapeador lineal
Para probar si la técnica funciona, los investigadores evaluaron la tubería de transferencia en seis familias de modelos «KV coincidentes». KV coincidente significa que los modelos de origen y de destino comparten el mismo número de cabezas de KV y dimensiones por cabeza, lo cual es típico de modelos de diferentes tamaños dentro de la misma familia.
Las familias de modelos incluyeron Qwen3, Llama 3.1 y Ministral 3, con pruebas de transferencia de caché KV en diferentes tamaños que van desde 3 mil millones a 70 mil millones de parámetros. Sus experimentos incluyeron un salto masivo de parámetros de 8,8x desde Llama 3.1 8B a 70B.
Para cubrir una amplia gama de tareas, evaluaron los modelos en cinco puntos de referencia de precisión básicos (ARC-Challenge, HellaSwag, WinoGrande, MMLU y GSM8K), así como la perplejidad del modelado del lenguaje en WikiText-2 y una tarea de conversación de múltiples turnos llamada CoQA. Para ajustar el mapeador de traducción lineal, utilizaron un pequeño conjunto de datos de calibración de solo 500 secuencias de texto de 1024 tokens cada una.
Los investigadores compararon el marco con la precisión máxima de referencia en la que el modelo objetivo realiza un llenado previo completo y tradicional. También compararon su sistema completo con configuraciones eliminadas, como reducir el número de capas seleccionadas o desactivar diferentes componentes. Además, compararon su método simple con una red neuronal profunda entrenada con retropropagación para ver si un aprendizaje profundo más intenso podía recuperar la precisión en pares en los que el método lineal tenía problemas.
Para cuatro de los seis pares probados, el rápido mapeador de crestas lineal de forma cerrada retuvo del 73 % al 98 % de la precisión de precarga independiente del objetivo, incluido el salto masivo de Llama 3.1 8B a 70B, que retuvo el 72,8 % de la precisión del objetivo.
El mapeador también funciona entre 2,7 y 25 veces más rápido que el rellenado previo. Por ejemplo, al traducir un caché KV de 32,768 tokens de un modelo Qwen3 14B a un modelo 32B, la transferencia tomó solo 278 milisegundos, en comparación con casi 7 segundos para una recarga previa estándar.
El sistema también demostró una alta estabilidad en tareas que abarcan muchos pasos. Cuando se probó en conversaciones de varios turnos, la desviación o pérdida de precisión entre la línea de base del objetivo y el caché transferido permaneció increíblemente pequeña durante 10 turnos, lo que demuestra que no provocará fallas en cascada durante largas sesiones de agente.
Sin embargo, el enfoque lineal sencillo tuvo limitaciones en pares de modelos específicos. Para dos de las configuraciones Ministral, el mapeador lineal se degradó drásticamente porque el ajuste lineal simple no pudo extrapolar los datos de calibración externos. Para solucionar este problema, los investigadores cambiaron el mapeador lineal por un perceptrón multicapa (MLP) no lineal con dos capas ocultas de 1.024 unidades entrenadas con los mismos datos. Esto añadió complejidad y entrenamiento a la configuración, pero recuperó su precisión por encima del 90%.
Un problema industrial mayor que el que un periódico puede resolver
La introducción de la transferencia entre modelos es parte de un impulso más amplio en toda la industria para resolver el cuello de botella de la caché KV, que se ha convertido en uno de los obstáculos clave para escalar la IA empresarial. A medida que los desarrolladores presionan a los LLM para que procesen documentos masivos o bases de código y ejecuten tareas de razonamiento de larga duración, la gestión de esta capa de memoria se está volviendo tan importante como los propios modelos.
Durante el año pasado, los investigadores atacaron este problema de computación y memoria desde múltiples ángulos. Por ejemplo, Nvidia introdujo recientemente dispersión de la memoria dinámica (DMS), una técnica que expulsa de forma inteligente los tokens menos importantes de la caché de KV para reducir los costos de razonamiento hasta 8 veces.
Otros enfoques se centran en una compresión agresiva de datos. Los investigadores del MIT desarrollaron una técnica de compactación algebraica llamada Coincidencia de atención que comprime la caché KV 50 veces sin degradar la calidad. De manera similar, Nvidia presentó Codificación de transformación de caché KV (KVTC), que toma prestados conceptos de compresión de medios para reducir la memoria 20 veces sin alterar los pesos del modelo subyacente.
Más allá de la compresión, los investigadores también están atacando la sobrecarga computacional de la recuperación de memoria. Optimizadores como caché de índice elimine los cálculos de capas redundantes para ofrecer un tiempo de obtención del primer token significativamente más rápido en aplicaciones de contexto prolongado. Y modelos como DeepSeek y la serie GLM están optimizando la caché KV a través de innovaciones arquitectónicas.
A medida que los sistemas de IA asumen tareas con horizontes más amplios y arquitecturas más complejas, la infraestructura de memoria subyacente se está volviendo tan importante como los propios modelos. La transferencia de caché KV entre modelos ofrece a los desarrolladores una herramienta más para mantener bajos los costos de inferencia a medida que escalan sistemas agentes multimodelo.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
Cuando un sistema de IA agente transfiere una tarea de un modelo pequeño a uno más grande (o retrocede nuevamente), paga un impuesto elevado: el modelo receptor tiene que volver a calcular toda la conversación desde cero, lo que aumenta los costos de computación y la latencia. Este es un obstáculo importante para las empresas que crean flujos de trabajo de múltiples LLM a largo plazo.
Para resolver este desafío, los investigadores de Nvidia han introducido un transferencia de caché KV entre modelos técnica que asigna directamente la caché KV precargada desde un modelo de origen al modelo de destino. Esta técnica se alinea con aplicaciones agentes del mundo real donde se acumulan grandes contextos en muchos turnos.
Para aplicaciones de IA del mundo real, la transferencia de caché KV entre modelos puede reducir los costos de computación y la latencia en flujos de trabajo de larga duración y múltiples LLM, y lo hace con matemáticas lineales simples, no con un costoso modelo de aprendizaje profundo.
Los experimentos muestran que, en pares de modelos compatibles, este proceso de mapeo lineal se ejecuta de 2,7 a 25 veces más rápido que volver a calcular la conversación y, al mismo tiempo, conserva hasta el 98 % de la precisión independiente del modelo objetivo.
Por qué es tan caro cambiar de modelo a mitad de sesión
Examinar cómo los LLM manejan la memoria ayuda a comprender por qué los flujos de trabajo multimodelo chocan con un muro de rendimiento en la producción. Cuando un LLM recibe un mensaje, primero debe ejecutar la etapa de «relleno previo», que es el paso directo inicial que calcula las claves y los valores para todos los tokens de entrada y completa la caché de valores clave (KV).
Después de eso, ingresa a la fase de «decodificación», donde calcula y genera los siguientes tokens de la secuencia. Durante esta fase, el modelo lee de este caché KV para predecir nuevos tokens uno por uno, evitando la necesidad de reevaluar todo el historial de la conversación para cada nuevo token.
En conversaciones de varios turnos o sesiones agentes de largo horizonte, el contexto se vuelve gradualmente más largo. Debido a que el costo computacional de la etapa de prellenado aumenta directamente tanto con el tamaño del modelo como con la longitud de entrada, el procesamiento de estas largas sesiones se vuelve cada vez más costoso e introduce una latencia significativa si se invalida la caché KV.
Esta invalidación ocurre cada vez que el sistema de IA intenta intercambiar modelos a mitad de sesión, como enrutar un paso de razonamiento complejo a un modelo más grande o pasar a un modelo más pequeño para ahorrar costos. Debido a que diferentes LLM tienen diferentes arquitecturas, esperan que sus entradas de caché estén en diferentes formatos.
Como resultado, cualquier cambio de modelo obliga al modelo receptor a pagar todo el costo de precarga desde cero para volver a calcular la caché KV para el contexto acumulado.
Mapeo de memoria entre modelos sin comenzar de nuevo
Los investigadores de Nvidia estudiaron la transferencia de caché KV entre modelos para ver cómo los desarrolladores pueden transformar el caché KV de un modelo al formato esperado de otro sin volver a ejecutar la fase de precarga.
Si se resuelve, la transferencia de caché KV entre modelos tiene beneficios en ambas direcciones. La transferencia de modelos pequeños a grandes mejora la calidad del resultado. Por ejemplo, un modelo pequeño y económico maneja las partes rutinarias de un flujo de trabajo agente, pero tiene problemas con un problema de razonamiento complejo, y usted asigna la caché KV a un modelo más grande y continúa el proceso sin problemas.
Por otro lado, la transferencia de modelos grandes a pequeños reduce los costos informáticos. Se podría utilizar un modelo grande y de gran capacidad para descomprimir un mensaje de sistema complejo y masivo o sintetizar un PDF denso al comienzo de una sesión. Una vez que se realiza el trabajo pesado, la caché KV de la sesión se asigna a un modelo más pequeño y económico para manejar los rápidos giros conversacionales que siguen.
Ha habido esfuerzos previos para resolver el problema de la transferencia de caché KV, pero adolecen de algunas limitaciones clave. Estos incluyen la necesidad de una costosa capacitación basada en gradientes o restricciones arquitectónicas muy estrictas.
Para este estudio inicial, los autores restringieron su enfoque a las transferencias dentro de la familia, como la transición entre modelos de diferentes tamaños en las familias Qwen, Llama o Ministral. Estos modelos comparten tokenizadores, ADN de datos de entrenamiento y estilos arquitectónicos centrales, pero difieren en tamaño y profundidad. Sin embargo, este marco deja mucho espacio para experimentos futuros. Los investigadores señalan que la técnica podría eventualmente ampliarse a transferencias entre familias, recuentos de cabezas de KV no coincidentes o arquitecturas híbridas que combinen la atención estándar con otros mecanismos de memoria.
El hallazgo clave del estudio de Nvidia es que la caché KV entre modelos es una estructura significativamente lineal. Esto significa que puede realizar el mapeo con simples trucos de álgebra y sin la necesidad de un entrenamiento intensivo de redes neuronales. Por ejemplo, al experimentar con la transferencia de caché KV desde un modelo Qwen3 de 14 mil millones de parámetros a una versión de 32 mil millones de parámetros, los autores descubrieron que un mapeo de regresión lineal simple de una capa de origen a una capa de destino puede recuperar el 56% de la varianza en las claves del objetivo y el 32% de la varianza en sus valores. Al combinar múltiples capas de origen, esas cifras aumentaron al 79% y 65% respectivamente.
Para traducir esta relación lineal en un sistema práctico, los investigadores diseñaron un mapeador de crestas por cabeza de forma cerrada con tres componentes clave:
-
Regresión de cresta por cabeza: En lugar de utilizar un aprendizaje profundo complejo para entrenar el sistema, ajustaron una regresión lineal simple utilizando un pequeño conjunto de calibración de unos cientos de secuencias de texto. Esta técnica resuelve un problema clásico de línea de mejor ajuste de forma independiente para cada cabeza de atención.
-
Selección de fuente entre capas: Debido a que los modelos de origen y de destino tienen diferentes números de capas, el mapeador evalúa y selecciona las capas de origen más predictivas para alimentar cada capa de destino específica. De esta manera, el sistema selecciona sólo las piezas de memoria más útiles del modelo anterior para construir la memoria del nuevo modelo.
-
Mapeo de contenido-espacio: Antes de traducir los datos, el mapeador elimina las codificaciones RoPE. RoPE, o incrustación de posición rotativa, es un mecanismo estándar que aplica una rotación matemática dependiente de la posición a los datos para que el modelo comprenda el orden de los tokens en una secuencia. Eliminar los valores de RoPE hace posible que el asignador generalice a secuencias de longitudes mayores que sus datos de entrenamiento.
Poniendo a prueba el mapeador lineal
Para probar si la técnica funciona, los investigadores evaluaron la tubería de transferencia en seis familias de modelos «KV coincidentes». KV coincidente significa que los modelos de origen y de destino comparten el mismo número de cabezas de KV y dimensiones por cabeza, lo cual es típico de modelos de diferentes tamaños dentro de la misma familia.
Las familias de modelos incluyeron Qwen3, Llama 3.1 y Ministral 3, con pruebas de transferencia de caché KV en diferentes tamaños que van desde 3 mil millones a 70 mil millones de parámetros. Sus experimentos incluyeron un salto masivo de parámetros de 8,8x desde Llama 3.1 8B a 70B.
Para cubrir una amplia gama de tareas, evaluaron los modelos en cinco puntos de referencia de precisión básicos (ARC-Challenge, HellaSwag, WinoGrande, MMLU y GSM8K), así como la perplejidad del modelado del lenguaje en WikiText-2 y una tarea de conversación de múltiples turnos llamada CoQA. Para ajustar el mapeador de traducción lineal, utilizaron un pequeño conjunto de datos de calibración de solo 500 secuencias de texto de 1024 tokens cada una.
Los investigadores compararon el marco con la precisión máxima de referencia en la que el modelo objetivo realiza un llenado previo completo y tradicional. También compararon su sistema completo con configuraciones eliminadas, como reducir el número de capas seleccionadas o desactivar diferentes componentes. Además, compararon su método simple con una red neuronal profunda entrenada con retropropagación para ver si un aprendizaje profundo más intenso podía recuperar la precisión en pares en los que el método lineal tenía problemas.
Para cuatro de los seis pares probados, el rápido mapeador de crestas lineal de forma cerrada retuvo del 73 % al 98 % de la precisión de precarga independiente del objetivo, incluido el salto masivo de Llama 3.1 8B a 70B, que retuvo el 72,8 % de la precisión del objetivo.
El mapeador también funciona entre 2,7 y 25 veces más rápido que el rellenado previo. Por ejemplo, al traducir un caché KV de 32,768 tokens de un modelo Qwen3 14B a un modelo 32B, la transferencia tomó solo 278 milisegundos, en comparación con casi 7 segundos para una recarga previa estándar.
El sistema también demostró una alta estabilidad en tareas que abarcan muchos pasos. Cuando se probó en conversaciones de varios turnos, la desviación o pérdida de precisión entre la línea de base del objetivo y el caché transferido permaneció increíblemente pequeña durante 10 turnos, lo que demuestra que no provocará fallas en cascada durante largas sesiones de agente.
Sin embargo, el enfoque lineal sencillo tuvo limitaciones en pares de modelos específicos. Para dos de las configuraciones Ministral, el mapeador lineal se degradó drásticamente porque el ajuste lineal simple no pudo extrapolar los datos de calibración externos. Para solucionar este problema, los investigadores cambiaron el mapeador lineal por un perceptrón multicapa (MLP) no lineal con dos capas ocultas de 1.024 unidades entrenadas con los mismos datos. Esto añadió complejidad y entrenamiento a la configuración, pero recuperó su precisión por encima del 90%.
Un problema industrial mayor que el que un periódico puede resolver
La introducción de la transferencia entre modelos es parte de un impulso más amplio en toda la industria para resolver el cuello de botella de la caché KV, que se ha convertido en uno de los obstáculos clave para escalar la IA empresarial. A medida que los desarrolladores presionan a los LLM para que procesen documentos masivos o bases de código y ejecuten tareas de razonamiento de larga duración, la gestión de esta capa de memoria se está volviendo tan importante como los propios modelos.
Durante el año pasado, los investigadores atacaron este problema de computación y memoria desde múltiples ángulos. Por ejemplo, Nvidia introdujo recientemente dispersión de la memoria dinámica (DMS), una técnica que expulsa de forma inteligente los tokens menos importantes de la caché de KV para reducir los costos de razonamiento hasta 8 veces.
Otros enfoques se centran en una compresión agresiva de datos. Los investigadores del MIT desarrollaron una técnica de compactación algebraica llamada Coincidencia de atención que comprime la caché KV 50 veces sin degradar la calidad. De manera similar, Nvidia presentó Codificación de transformación de caché KV (KVTC), que toma prestados conceptos de compresión de medios para reducir la memoria 20 veces sin alterar los pesos del modelo subyacente.
Más allá de la compresión, los investigadores también están atacando la sobrecarga computacional de la recuperación de memoria. Optimizadores como caché de índice elimine los cálculos de capas redundantes para ofrecer un tiempo de obtención del primer token significativamente más rápido en aplicaciones de contexto prolongado. Y modelos como DeepSeek y la serie GLM están optimizando la caché KV a través de innovaciones arquitectónicas.
A medida que los sistemas de IA asumen tareas con horizontes más amplios y arquitecturas más complejas, la infraestructura de memoria subyacente se está volviendo tan importante como los propios modelos. La transferencia de caché KV entre modelos ofrece a los desarrolladores una herramienta más para mantener bajos los costos de inferencia a medida que escalan sistemas agentes multimodelo.
Cuando un sistema de IA agente transfiere una tarea de un modelo pequeño a uno más grande (o retrocede nuevamente), paga un impuesto elevado: el modelo receptor tiene que volver a calcular toda la conversación desde cero, lo que aumenta los costos de computación y la latencia. Este es un obstáculo importante para las empresas que crean flujos de trabajo de múltiples LLM a largo plazo.
Para resolver este desafío, los investigadores de Nvidia han introducido un transferencia de caché KV entre modelos técnica que asigna directamente la caché KV precargada desde un modelo de origen al modelo de destino. Esta técnica se alinea con aplicaciones agentes del mundo real donde se acumulan grandes contextos en muchos turnos.
Para aplicaciones de IA del mundo real, la transferencia de caché KV entre modelos puede reducir los costos de computación y la latencia en flujos de trabajo de larga duración y múltiples LLM, y lo hace con matemáticas lineales simples, no con un costoso modelo de aprendizaje profundo.
Los experimentos muestran que, en pares de modelos compatibles, este proceso de mapeo lineal se ejecuta de 2,7 a 25 veces más rápido que volver a calcular la conversación y, al mismo tiempo, conserva hasta el 98 % de la precisión independiente del modelo objetivo.
Por qué es tan caro cambiar de modelo a mitad de sesión
Examinar cómo los LLM manejan la memoria ayuda a comprender por qué los flujos de trabajo multimodelo chocan con un muro de rendimiento en la producción. Cuando un LLM recibe un mensaje, primero debe ejecutar la etapa de «relleno previo», que es el paso directo inicial que calcula las claves y los valores para todos los tokens de entrada y completa la caché de valores clave (KV).
Después de eso, ingresa a la fase de «decodificación», donde calcula y genera los siguientes tokens de la secuencia. Durante esta fase, el modelo lee de este caché KV para predecir nuevos tokens uno por uno, evitando la necesidad de reevaluar todo el historial de la conversación para cada nuevo token.
En conversaciones de varios turnos o sesiones agentes de largo horizonte, el contexto se vuelve gradualmente más largo. Debido a que el costo computacional de la etapa de prellenado aumenta directamente tanto con el tamaño del modelo como con la longitud de entrada, el procesamiento de estas largas sesiones se vuelve cada vez más costoso e introduce una latencia significativa si se invalida la caché KV.
Esta invalidación ocurre cada vez que el sistema de IA intenta intercambiar modelos a mitad de sesión, como enrutar un paso de razonamiento complejo a un modelo más grande o pasar a un modelo más pequeño para ahorrar costos. Debido a que diferentes LLM tienen diferentes arquitecturas, esperan que sus entradas de caché estén en diferentes formatos.
Como resultado, cualquier cambio de modelo obliga al modelo receptor a pagar todo el costo de precarga desde cero para volver a calcular la caché KV para el contexto acumulado.
Mapeo de memoria entre modelos sin comenzar de nuevo
Los investigadores de Nvidia estudiaron la transferencia de caché KV entre modelos para ver cómo los desarrolladores pueden transformar el caché KV de un modelo al formato esperado de otro sin volver a ejecutar la fase de precarga.
Si se resuelve, la transferencia de caché KV entre modelos tiene beneficios en ambas direcciones. La transferencia de modelos pequeños a grandes mejora la calidad del resultado. Por ejemplo, un modelo pequeño y económico maneja las partes rutinarias de un flujo de trabajo agente, pero tiene problemas con un problema de razonamiento complejo, y usted asigna la caché KV a un modelo más grande y continúa el proceso sin problemas.
Por otro lado, la transferencia de modelos grandes a pequeños reduce los costos informáticos. Se podría utilizar un modelo grande y de gran capacidad para descomprimir un mensaje de sistema complejo y masivo o sintetizar un PDF denso al comienzo de una sesión. Una vez que se realiza el trabajo pesado, la caché KV de la sesión se asigna a un modelo más pequeño y económico para manejar los rápidos giros conversacionales que siguen.
Ha habido esfuerzos previos para resolver el problema de la transferencia de caché KV, pero adolecen de algunas limitaciones clave. Estos incluyen la necesidad de una costosa capacitación basada en gradientes o restricciones arquitectónicas muy estrictas.
Para este estudio inicial, los autores restringieron su enfoque a las transferencias dentro de la familia, como la transición entre modelos de diferentes tamaños en las familias Qwen, Llama o Ministral. Estos modelos comparten tokenizadores, ADN de datos de entrenamiento y estilos arquitectónicos centrales, pero difieren en tamaño y profundidad. Sin embargo, este marco deja mucho espacio para experimentos futuros. Los investigadores señalan que la técnica podría eventualmente ampliarse a transferencias entre familias, recuentos de cabezas de KV no coincidentes o arquitecturas híbridas que combinen la atención estándar con otros mecanismos de memoria.
El hallazgo clave del estudio de Nvidia es que la caché KV entre modelos es una estructura significativamente lineal. Esto significa que puede realizar el mapeo con simples trucos de álgebra y sin la necesidad de un entrenamiento intensivo de redes neuronales. Por ejemplo, al experimentar con la transferencia de caché KV desde un modelo Qwen3 de 14 mil millones de parámetros a una versión de 32 mil millones de parámetros, los autores descubrieron que un mapeo de regresión lineal simple de una capa de origen a una capa de destino puede recuperar el 56% de la varianza en las claves del objetivo y el 32% de la varianza en sus valores. Al combinar múltiples capas de origen, esas cifras aumentaron al 79% y 65% respectivamente.
Para traducir esta relación lineal en un sistema práctico, los investigadores diseñaron un mapeador de crestas por cabeza de forma cerrada con tres componentes clave:
-
Regresión de cresta por cabeza: En lugar de utilizar un aprendizaje profundo complejo para entrenar el sistema, ajustaron una regresión lineal simple utilizando un pequeño conjunto de calibración de unos cientos de secuencias de texto. Esta técnica resuelve un problema clásico de línea de mejor ajuste de forma independiente para cada cabeza de atención.
-
Selección de fuente entre capas: Debido a que los modelos de origen y de destino tienen diferentes números de capas, el mapeador evalúa y selecciona las capas de origen más predictivas para alimentar cada capa de destino específica. De esta manera, el sistema selecciona sólo las piezas de memoria más útiles del modelo anterior para construir la memoria del nuevo modelo.
-
Mapeo de contenido-espacio: Antes de traducir los datos, el mapeador elimina las codificaciones RoPE. RoPE, o incrustación de posición rotativa, es un mecanismo estándar que aplica una rotación matemática dependiente de la posición a los datos para que el modelo comprenda el orden de los tokens en una secuencia. Eliminar los valores de RoPE hace posible que el asignador generalice a secuencias de longitudes mayores que sus datos de entrenamiento.
Poniendo a prueba el mapeador lineal
Para probar si la técnica funciona, los investigadores evaluaron la tubería de transferencia en seis familias de modelos «KV coincidentes». KV coincidente significa que los modelos de origen y de destino comparten el mismo número de cabezas de KV y dimensiones por cabeza, lo cual es típico de modelos de diferentes tamaños dentro de la misma familia.
Las familias de modelos incluyeron Qwen3, Llama 3.1 y Ministral 3, con pruebas de transferencia de caché KV en diferentes tamaños que van desde 3 mil millones a 70 mil millones de parámetros. Sus experimentos incluyeron un salto masivo de parámetros de 8,8x desde Llama 3.1 8B a 70B.
Para cubrir una amplia gama de tareas, evaluaron los modelos en cinco puntos de referencia de precisión básicos (ARC-Challenge, HellaSwag, WinoGrande, MMLU y GSM8K), así como la perplejidad del modelado del lenguaje en WikiText-2 y una tarea de conversación de múltiples turnos llamada CoQA. Para ajustar el mapeador de traducción lineal, utilizaron un pequeño conjunto de datos de calibración de solo 500 secuencias de texto de 1024 tokens cada una.
Los investigadores compararon el marco con la precisión máxima de referencia en la que el modelo objetivo realiza un llenado previo completo y tradicional. También compararon su sistema completo con configuraciones eliminadas, como reducir el número de capas seleccionadas o desactivar diferentes componentes. Además, compararon su método simple con una red neuronal profunda entrenada con retropropagación para ver si un aprendizaje profundo más intenso podía recuperar la precisión en pares en los que el método lineal tenía problemas.
Para cuatro de los seis pares probados, el rápido mapeador de crestas lineal de forma cerrada retuvo del 73 % al 98 % de la precisión de precarga independiente del objetivo, incluido el salto masivo de Llama 3.1 8B a 70B, que retuvo el 72,8 % de la precisión del objetivo.
El mapeador también funciona entre 2,7 y 25 veces más rápido que el rellenado previo. Por ejemplo, al traducir un caché KV de 32,768 tokens de un modelo Qwen3 14B a un modelo 32B, la transferencia tomó solo 278 milisegundos, en comparación con casi 7 segundos para una recarga previa estándar.
El sistema también demostró una alta estabilidad en tareas que abarcan muchos pasos. Cuando se probó en conversaciones de varios turnos, la desviación o pérdida de precisión entre la línea de base del objetivo y el caché transferido permaneció increíblemente pequeña durante 10 turnos, lo que demuestra que no provocará fallas en cascada durante largas sesiones de agente.
Sin embargo, el enfoque lineal sencillo tuvo limitaciones en pares de modelos específicos. Para dos de las configuraciones Ministral, el mapeador lineal se degradó drásticamente porque el ajuste lineal simple no pudo extrapolar los datos de calibración externos. Para solucionar este problema, los investigadores cambiaron el mapeador lineal por un perceptrón multicapa (MLP) no lineal con dos capas ocultas de 1.024 unidades entrenadas con los mismos datos. Esto añadió complejidad y entrenamiento a la configuración, pero recuperó su precisión por encima del 90%.
Un problema industrial mayor que el que un periódico puede resolver
La introducción de la transferencia entre modelos es parte de un impulso más amplio en toda la industria para resolver el cuello de botella de la caché KV, que se ha convertido en uno de los obstáculos clave para escalar la IA empresarial. A medida que los desarrolladores presionan a los LLM para que procesen documentos masivos o bases de código y ejecuten tareas de razonamiento de larga duración, la gestión de esta capa de memoria se está volviendo tan importante como los propios modelos.
Durante el año pasado, los investigadores atacaron este problema de computación y memoria desde múltiples ángulos. Por ejemplo, Nvidia introdujo recientemente dispersión de la memoria dinámica (DMS), una técnica que expulsa de forma inteligente los tokens menos importantes de la caché de KV para reducir los costos de razonamiento hasta 8 veces.
Otros enfoques se centran en una compresión agresiva de datos. Los investigadores del MIT desarrollaron una técnica de compactación algebraica llamada Coincidencia de atención que comprime la caché KV 50 veces sin degradar la calidad. De manera similar, Nvidia presentó Codificación de transformación de caché KV (KVTC), que toma prestados conceptos de compresión de medios para reducir la memoria 20 veces sin alterar los pesos del modelo subyacente.
Más allá de la compresión, los investigadores también están atacando la sobrecarga computacional de la recuperación de memoria. Optimizadores como caché de índice elimine los cálculos de capas redundantes para ofrecer un tiempo de obtención del primer token significativamente más rápido en aplicaciones de contexto prolongado. Y modelos como DeepSeek y la serie GLM están optimizando la caché KV a través de innovaciones arquitectónicas.
A medida que los sistemas de IA asumen tareas con horizontes más amplios y arquitecturas más complejas, la infraestructura de memoria subyacente se está volviendo tan importante como los propios modelos. La transferencia de caché KV entre modelos ofrece a los desarrolladores una herramienta más para mantener bajos los costos de inferencia a medida que escalan sistemas agentes multimodelo.
Cuando un sistema de IA agente transfiere una tarea de un modelo pequeño a uno más grande (o retrocede nuevamente), paga un impuesto elevado: el modelo receptor tiene que volver a calcular toda la conversación desde cero, lo que aumenta los costos de computación y la latencia. Este es un obstáculo importante para las empresas que crean flujos de trabajo de múltiples LLM a largo plazo.
Para resolver este desafío, los investigadores de Nvidia han introducido un transferencia de caché KV entre modelos técnica que asigna directamente la caché KV precargada desde un modelo de origen al modelo de destino. Esta técnica se alinea con aplicaciones agentes del mundo real donde se acumulan grandes contextos en muchos turnos.
Para aplicaciones de IA del mundo real, la transferencia de caché KV entre modelos puede reducir los costos de computación y la latencia en flujos de trabajo de larga duración y múltiples LLM, y lo hace con matemáticas lineales simples, no con un costoso modelo de aprendizaje profundo.
Los experimentos muestran que, en pares de modelos compatibles, este proceso de mapeo lineal se ejecuta de 2,7 a 25 veces más rápido que volver a calcular la conversación y, al mismo tiempo, conserva hasta el 98 % de la precisión independiente del modelo objetivo.
Por qué es tan caro cambiar de modelo a mitad de sesión
Examinar cómo los LLM manejan la memoria ayuda a comprender por qué los flujos de trabajo multimodelo chocan con un muro de rendimiento en la producción. Cuando un LLM recibe un mensaje, primero debe ejecutar la etapa de «relleno previo», que es el paso directo inicial que calcula las claves y los valores para todos los tokens de entrada y completa la caché de valores clave (KV).
Después de eso, ingresa a la fase de «decodificación», donde calcula y genera los siguientes tokens de la secuencia. Durante esta fase, el modelo lee de este caché KV para predecir nuevos tokens uno por uno, evitando la necesidad de reevaluar todo el historial de la conversación para cada nuevo token.
En conversaciones de varios turnos o sesiones agentes de largo horizonte, el contexto se vuelve gradualmente más largo. Debido a que el costo computacional de la etapa de prellenado aumenta directamente tanto con el tamaño del modelo como con la longitud de entrada, el procesamiento de estas largas sesiones se vuelve cada vez más costoso e introduce una latencia significativa si se invalida la caché KV.
Esta invalidación ocurre cada vez que el sistema de IA intenta intercambiar modelos a mitad de sesión, como enrutar un paso de razonamiento complejo a un modelo más grande o pasar a un modelo más pequeño para ahorrar costos. Debido a que diferentes LLM tienen diferentes arquitecturas, esperan que sus entradas de caché estén en diferentes formatos.
Como resultado, cualquier cambio de modelo obliga al modelo receptor a pagar todo el costo de precarga desde cero para volver a calcular la caché KV para el contexto acumulado.
Mapeo de memoria entre modelos sin comenzar de nuevo
Los investigadores de Nvidia estudiaron la transferencia de caché KV entre modelos para ver cómo los desarrolladores pueden transformar el caché KV de un modelo al formato esperado de otro sin volver a ejecutar la fase de precarga.
Si se resuelve, la transferencia de caché KV entre modelos tiene beneficios en ambas direcciones. La transferencia de modelos pequeños a grandes mejora la calidad del resultado. Por ejemplo, un modelo pequeño y económico maneja las partes rutinarias de un flujo de trabajo agente, pero tiene problemas con un problema de razonamiento complejo, y usted asigna la caché KV a un modelo más grande y continúa el proceso sin problemas.
Por otro lado, la transferencia de modelos grandes a pequeños reduce los costos informáticos. Se podría utilizar un modelo grande y de gran capacidad para descomprimir un mensaje de sistema complejo y masivo o sintetizar un PDF denso al comienzo de una sesión. Una vez que se realiza el trabajo pesado, la caché KV de la sesión se asigna a un modelo más pequeño y económico para manejar los rápidos giros conversacionales que siguen.
Ha habido esfuerzos previos para resolver el problema de la transferencia de caché KV, pero adolecen de algunas limitaciones clave. Estos incluyen la necesidad de una costosa capacitación basada en gradientes o restricciones arquitectónicas muy estrictas.
Para este estudio inicial, los autores restringieron su enfoque a las transferencias dentro de la familia, como la transición entre modelos de diferentes tamaños en las familias Qwen, Llama o Ministral. Estos modelos comparten tokenizadores, ADN de datos de entrenamiento y estilos arquitectónicos centrales, pero difieren en tamaño y profundidad. Sin embargo, este marco deja mucho espacio para experimentos futuros. Los investigadores señalan que la técnica podría eventualmente ampliarse a transferencias entre familias, recuentos de cabezas de KV no coincidentes o arquitecturas híbridas que combinen la atención estándar con otros mecanismos de memoria.
El hallazgo clave del estudio de Nvidia es que la caché KV entre modelos es una estructura significativamente lineal. Esto significa que puede realizar el mapeo con simples trucos de álgebra y sin la necesidad de un entrenamiento intensivo de redes neuronales. Por ejemplo, al experimentar con la transferencia de caché KV desde un modelo Qwen3 de 14 mil millones de parámetros a una versión de 32 mil millones de parámetros, los autores descubrieron que un mapeo de regresión lineal simple de una capa de origen a una capa de destino puede recuperar el 56% de la varianza en las claves del objetivo y el 32% de la varianza en sus valores. Al combinar múltiples capas de origen, esas cifras aumentaron al 79% y 65% respectivamente.
Para traducir esta relación lineal en un sistema práctico, los investigadores diseñaron un mapeador de crestas por cabeza de forma cerrada con tres componentes clave:
-
Regresión de cresta por cabeza: En lugar de utilizar un aprendizaje profundo complejo para entrenar el sistema, ajustaron una regresión lineal simple utilizando un pequeño conjunto de calibración de unos cientos de secuencias de texto. Esta técnica resuelve un problema clásico de línea de mejor ajuste de forma independiente para cada cabeza de atención.
-
Selección de fuente entre capas: Debido a que los modelos de origen y de destino tienen diferentes números de capas, el mapeador evalúa y selecciona las capas de origen más predictivas para alimentar cada capa de destino específica. De esta manera, el sistema selecciona sólo las piezas de memoria más útiles del modelo anterior para construir la memoria del nuevo modelo.
-
Mapeo de contenido-espacio: Antes de traducir los datos, el mapeador elimina las codificaciones RoPE. RoPE, o incrustación de posición rotativa, es un mecanismo estándar que aplica una rotación matemática dependiente de la posición a los datos para que el modelo comprenda el orden de los tokens en una secuencia. Eliminar los valores de RoPE hace posible que el asignador generalice a secuencias de longitudes mayores que sus datos de entrenamiento.
Poniendo a prueba el mapeador lineal
Para probar si la técnica funciona, los investigadores evaluaron la tubería de transferencia en seis familias de modelos «KV coincidentes». KV coincidente significa que los modelos de origen y de destino comparten el mismo número de cabezas de KV y dimensiones por cabeza, lo cual es típico de modelos de diferentes tamaños dentro de la misma familia.
Las familias de modelos incluyeron Qwen3, Llama 3.1 y Ministral 3, con pruebas de transferencia de caché KV en diferentes tamaños que van desde 3 mil millones a 70 mil millones de parámetros. Sus experimentos incluyeron un salto masivo de parámetros de 8,8x desde Llama 3.1 8B a 70B.
Para cubrir una amplia gama de tareas, evaluaron los modelos en cinco puntos de referencia de precisión básicos (ARC-Challenge, HellaSwag, WinoGrande, MMLU y GSM8K), así como la perplejidad del modelado del lenguaje en WikiText-2 y una tarea de conversación de múltiples turnos llamada CoQA. Para ajustar el mapeador de traducción lineal, utilizaron un pequeño conjunto de datos de calibración de solo 500 secuencias de texto de 1024 tokens cada una.
Los investigadores compararon el marco con la precisión máxima de referencia en la que el modelo objetivo realiza un llenado previo completo y tradicional. También compararon su sistema completo con configuraciones eliminadas, como reducir el número de capas seleccionadas o desactivar diferentes componentes. Además, compararon su método simple con una red neuronal profunda entrenada con retropropagación para ver si un aprendizaje profundo más intenso podía recuperar la precisión en pares en los que el método lineal tenía problemas.
Para cuatro de los seis pares probados, el rápido mapeador de crestas lineal de forma cerrada retuvo del 73 % al 98 % de la precisión de precarga independiente del objetivo, incluido el salto masivo de Llama 3.1 8B a 70B, que retuvo el 72,8 % de la precisión del objetivo.
El mapeador también funciona entre 2,7 y 25 veces más rápido que el rellenado previo. Por ejemplo, al traducir un caché KV de 32,768 tokens de un modelo Qwen3 14B a un modelo 32B, la transferencia tomó solo 278 milisegundos, en comparación con casi 7 segundos para una recarga previa estándar.
El sistema también demostró una alta estabilidad en tareas que abarcan muchos pasos. Cuando se probó en conversaciones de varios turnos, la desviación o pérdida de precisión entre la línea de base del objetivo y el caché transferido permaneció increíblemente pequeña durante 10 turnos, lo que demuestra que no provocará fallas en cascada durante largas sesiones de agente.
Sin embargo, el enfoque lineal sencillo tuvo limitaciones en pares de modelos específicos. Para dos de las configuraciones Ministral, el mapeador lineal se degradó drásticamente porque el ajuste lineal simple no pudo extrapolar los datos de calibración externos. Para solucionar este problema, los investigadores cambiaron el mapeador lineal por un perceptrón multicapa (MLP) no lineal con dos capas ocultas de 1.024 unidades entrenadas con los mismos datos. Esto añadió complejidad y entrenamiento a la configuración, pero recuperó su precisión por encima del 90%.
Un problema industrial mayor que el que un periódico puede resolver
La introducción de la transferencia entre modelos es parte de un impulso más amplio en toda la industria para resolver el cuello de botella de la caché KV, que se ha convertido en uno de los obstáculos clave para escalar la IA empresarial. A medida que los desarrolladores presionan a los LLM para que procesen documentos masivos o bases de código y ejecuten tareas de razonamiento de larga duración, la gestión de esta capa de memoria se está volviendo tan importante como los propios modelos.
Durante el año pasado, los investigadores atacaron este problema de computación y memoria desde múltiples ángulos. Por ejemplo, Nvidia introdujo recientemente dispersión de la memoria dinámica (DMS), una técnica que expulsa de forma inteligente los tokens menos importantes de la caché de KV para reducir los costos de razonamiento hasta 8 veces.
Otros enfoques se centran en una compresión agresiva de datos. Los investigadores del MIT desarrollaron una técnica de compactación algebraica llamada Coincidencia de atención que comprime la caché KV 50 veces sin degradar la calidad. De manera similar, Nvidia presentó Codificación de transformación de caché KV (KVTC), que toma prestados conceptos de compresión de medios para reducir la memoria 20 veces sin alterar los pesos del modelo subyacente.
Más allá de la compresión, los investigadores también están atacando la sobrecarga computacional de la recuperación de memoria. Optimizadores como caché de índice elimine los cálculos de capas redundantes para ofrecer un tiempo de obtención del primer token significativamente más rápido en aplicaciones de contexto prolongado. Y modelos como DeepSeek y la serie GLM están optimizando la caché KV a través de innovaciones arquitectónicas.
A medida que los sistemas de IA asumen tareas con horizontes más amplios y arquitecturas más complejas, la infraestructura de memoria subyacente se está volviendo tan importante como los propios modelos. La transferencia de caché KV entre modelos ofrece a los desarrolladores una herramienta más para mantener bajos los costos de inferencia a medida que escalan sistemas agentes multimodelo.
Cuando un sistema de IA agente transfiere una tarea de un modelo pequeño a uno más grande (o retrocede nuevamente), paga un impuesto elevado: el modelo receptor tiene que volver a calcular toda la conversación desde cero, lo que aumenta los costos de computación y la latencia. Este es un obstáculo importante para las empresas que crean flujos de trabajo de múltiples LLM a largo plazo.
Para resolver este desafío, los investigadores de Nvidia han introducido un transferencia de caché KV entre modelos técnica que asigna directamente la caché KV precargada desde un modelo de origen al modelo de destino. Esta técnica se alinea con aplicaciones agentes del mundo real donde se acumulan grandes contextos en muchos turnos.
Para aplicaciones de IA del mundo real, la transferencia de caché KV entre modelos puede reducir los costos de computación y la latencia en flujos de trabajo de larga duración y múltiples LLM, y lo hace con matemáticas lineales simples, no con un costoso modelo de aprendizaje profundo.
Los experimentos muestran que, en pares de modelos compatibles, este proceso de mapeo lineal se ejecuta de 2,7 a 25 veces más rápido que volver a calcular la conversación y, al mismo tiempo, conserva hasta el 98 % de la precisión independiente del modelo objetivo.
Por qué es tan caro cambiar de modelo a mitad de sesión
Examinar cómo los LLM manejan la memoria ayuda a comprender por qué los flujos de trabajo multimodelo chocan con un muro de rendimiento en la producción. Cuando un LLM recibe un mensaje, primero debe ejecutar la etapa de «relleno previo», que es el paso directo inicial que calcula las claves y los valores para todos los tokens de entrada y completa la caché de valores clave (KV).
Después de eso, ingresa a la fase de «decodificación», donde calcula y genera los siguientes tokens de la secuencia. Durante esta fase, el modelo lee de este caché KV para predecir nuevos tokens uno por uno, evitando la necesidad de reevaluar todo el historial de la conversación para cada nuevo token.
En conversaciones de varios turnos o sesiones agentes de largo horizonte, el contexto se vuelve gradualmente más largo. Debido a que el costo computacional de la etapa de prellenado aumenta directamente tanto con el tamaño del modelo como con la longitud de entrada, el procesamiento de estas largas sesiones se vuelve cada vez más costoso e introduce una latencia significativa si se invalida la caché KV.
Esta invalidación ocurre cada vez que el sistema de IA intenta intercambiar modelos a mitad de sesión, como enrutar un paso de razonamiento complejo a un modelo más grande o pasar a un modelo más pequeño para ahorrar costos. Debido a que diferentes LLM tienen diferentes arquitecturas, esperan que sus entradas de caché estén en diferentes formatos.
Como resultado, cualquier cambio de modelo obliga al modelo receptor a pagar todo el costo de precarga desde cero para volver a calcular la caché KV para el contexto acumulado.
Mapeo de memoria entre modelos sin comenzar de nuevo
Los investigadores de Nvidia estudiaron la transferencia de caché KV entre modelos para ver cómo los desarrolladores pueden transformar el caché KV de un modelo al formato esperado de otro sin volver a ejecutar la fase de precarga.
Si se resuelve, la transferencia de caché KV entre modelos tiene beneficios en ambas direcciones. La transferencia de modelos pequeños a grandes mejora la calidad del resultado. Por ejemplo, un modelo pequeño y económico maneja las partes rutinarias de un flujo de trabajo agente, pero tiene problemas con un problema de razonamiento complejo, y usted asigna la caché KV a un modelo más grande y continúa el proceso sin problemas.
Por otro lado, la transferencia de modelos grandes a pequeños reduce los costos informáticos. Se podría utilizar un modelo grande y de gran capacidad para descomprimir un mensaje de sistema complejo y masivo o sintetizar un PDF denso al comienzo de una sesión. Una vez que se realiza el trabajo pesado, la caché KV de la sesión se asigna a un modelo más pequeño y económico para manejar los rápidos giros conversacionales que siguen.
Ha habido esfuerzos previos para resolver el problema de la transferencia de caché KV, pero adolecen de algunas limitaciones clave. Estos incluyen la necesidad de una costosa capacitación basada en gradientes o restricciones arquitectónicas muy estrictas.
Para este estudio inicial, los autores restringieron su enfoque a las transferencias dentro de la familia, como la transición entre modelos de diferentes tamaños en las familias Qwen, Llama o Ministral. Estos modelos comparten tokenizadores, ADN de datos de entrenamiento y estilos arquitectónicos centrales, pero difieren en tamaño y profundidad. Sin embargo, este marco deja mucho espacio para experimentos futuros. Los investigadores señalan que la técnica podría eventualmente ampliarse a transferencias entre familias, recuentos de cabezas de KV no coincidentes o arquitecturas híbridas que combinen la atención estándar con otros mecanismos de memoria.
El hallazgo clave del estudio de Nvidia es que la caché KV entre modelos es una estructura significativamente lineal. Esto significa que puede realizar el mapeo con simples trucos de álgebra y sin la necesidad de un entrenamiento intensivo de redes neuronales. Por ejemplo, al experimentar con la transferencia de caché KV desde un modelo Qwen3 de 14 mil millones de parámetros a una versión de 32 mil millones de parámetros, los autores descubrieron que un mapeo de regresión lineal simple de una capa de origen a una capa de destino puede recuperar el 56% de la varianza en las claves del objetivo y el 32% de la varianza en sus valores. Al combinar múltiples capas de origen, esas cifras aumentaron al 79% y 65% respectivamente.
Para traducir esta relación lineal en un sistema práctico, los investigadores diseñaron un mapeador de crestas por cabeza de forma cerrada con tres componentes clave:
-
Regresión de cresta por cabeza: En lugar de utilizar un aprendizaje profundo complejo para entrenar el sistema, ajustaron una regresión lineal simple utilizando un pequeño conjunto de calibración de unos cientos de secuencias de texto. Esta técnica resuelve un problema clásico de línea de mejor ajuste de forma independiente para cada cabeza de atención.
-
Selección de fuente entre capas: Debido a que los modelos de origen y de destino tienen diferentes números de capas, el mapeador evalúa y selecciona las capas de origen más predictivas para alimentar cada capa de destino específica. De esta manera, el sistema selecciona sólo las piezas de memoria más útiles del modelo anterior para construir la memoria del nuevo modelo.
-
Mapeo de contenido-espacio: Antes de traducir los datos, el mapeador elimina las codificaciones RoPE. RoPE, o incrustación de posición rotativa, es un mecanismo estándar que aplica una rotación matemática dependiente de la posición a los datos para que el modelo comprenda el orden de los tokens en una secuencia. Eliminar los valores de RoPE hace posible que el asignador generalice a secuencias de longitudes mayores que sus datos de entrenamiento.
Poniendo a prueba el mapeador lineal
Para probar si la técnica funciona, los investigadores evaluaron la tubería de transferencia en seis familias de modelos «KV coincidentes». KV coincidente significa que los modelos de origen y de destino comparten el mismo número de cabezas de KV y dimensiones por cabeza, lo cual es típico de modelos de diferentes tamaños dentro de la misma familia.
Las familias de modelos incluyeron Qwen3, Llama 3.1 y Ministral 3, con pruebas de transferencia de caché KV en diferentes tamaños que van desde 3 mil millones a 70 mil millones de parámetros. Sus experimentos incluyeron un salto masivo de parámetros de 8,8x desde Llama 3.1 8B a 70B.
Para cubrir una amplia gama de tareas, evaluaron los modelos en cinco puntos de referencia de precisión básicos (ARC-Challenge, HellaSwag, WinoGrande, MMLU y GSM8K), así como la perplejidad del modelado del lenguaje en WikiText-2 y una tarea de conversación de múltiples turnos llamada CoQA. Para ajustar el mapeador de traducción lineal, utilizaron un pequeño conjunto de datos de calibración de solo 500 secuencias de texto de 1024 tokens cada una.
Los investigadores compararon el marco con la precisión máxima de referencia en la que el modelo objetivo realiza un llenado previo completo y tradicional. También compararon su sistema completo con configuraciones eliminadas, como reducir el número de capas seleccionadas o desactivar diferentes componentes. Además, compararon su método simple con una red neuronal profunda entrenada con retropropagación para ver si un aprendizaje profundo más intenso podía recuperar la precisión en pares en los que el método lineal tenía problemas.
Para cuatro de los seis pares probados, el rápido mapeador de crestas lineal de forma cerrada retuvo del 73 % al 98 % de la precisión de precarga independiente del objetivo, incluido el salto masivo de Llama 3.1 8B a 70B, que retuvo el 72,8 % de la precisión del objetivo.
El mapeador también funciona entre 2,7 y 25 veces más rápido que el rellenado previo. Por ejemplo, al traducir un caché KV de 32,768 tokens de un modelo Qwen3 14B a un modelo 32B, la transferencia tomó solo 278 milisegundos, en comparación con casi 7 segundos para una recarga previa estándar.
El sistema también demostró una alta estabilidad en tareas que abarcan muchos pasos. Cuando se probó en conversaciones de varios turnos, la desviación o pérdida de precisión entre la línea de base del objetivo y el caché transferido permaneció increíblemente pequeña durante 10 turnos, lo que demuestra que no provocará fallas en cascada durante largas sesiones de agente.
Sin embargo, el enfoque lineal sencillo tuvo limitaciones en pares de modelos específicos. Para dos de las configuraciones Ministral, el mapeador lineal se degradó drásticamente porque el ajuste lineal simple no pudo extrapolar los datos de calibración externos. Para solucionar este problema, los investigadores cambiaron el mapeador lineal por un perceptrón multicapa (MLP) no lineal con dos capas ocultas de 1.024 unidades entrenadas con los mismos datos. Esto añadió complejidad y entrenamiento a la configuración, pero recuperó su precisión por encima del 90%.
Un problema industrial mayor que el que un periódico puede resolver
La introducción de la transferencia entre modelos es parte de un impulso más amplio en toda la industria para resolver el cuello de botella de la caché KV, que se ha convertido en uno de los obstáculos clave para escalar la IA empresarial. A medida que los desarrolladores presionan a los LLM para que procesen documentos masivos o bases de código y ejecuten tareas de razonamiento de larga duración, la gestión de esta capa de memoria se está volviendo tan importante como los propios modelos.
Durante el año pasado, los investigadores atacaron este problema de computación y memoria desde múltiples ángulos. Por ejemplo, Nvidia introdujo recientemente dispersión de la memoria dinámica (DMS), una técnica que expulsa de forma inteligente los tokens menos importantes de la caché de KV para reducir los costos de razonamiento hasta 8 veces.
Otros enfoques se centran en una compresión agresiva de datos. Los investigadores del MIT desarrollaron una técnica de compactación algebraica llamada Coincidencia de atención que comprime la caché KV 50 veces sin degradar la calidad. De manera similar, Nvidia presentó Codificación de transformación de caché KV (KVTC), que toma prestados conceptos de compresión de medios para reducir la memoria 20 veces sin alterar los pesos del modelo subyacente.
Más allá de la compresión, los investigadores también están atacando la sobrecarga computacional de la recuperación de memoria. Optimizadores como caché de índice elimine los cálculos de capas redundantes para ofrecer un tiempo de obtención del primer token significativamente más rápido en aplicaciones de contexto prolongado. Y modelos como DeepSeek y la serie GLM están optimizando la caché KV a través de innovaciones arquitectónicas.
A medida que los sistemas de IA asumen tareas con horizontes más amplios y arquitecturas más complejas, la infraestructura de memoria subyacente se está volviendo tan importante como los propios modelos. La transferencia de caché KV entre modelos ofrece a los desarrolladores una herramienta más para mantener bajos los costos de inferencia a medida que escalan sistemas agentes multimodelo.
