Las ventanas de contexto se están convirtiendo en un cuello de botella computacional. Cuanto más tiempo se ejecuta un agente, más tokens se acumulan a partir de documentos recuperados, rastros de razonamiento e historial de conversaciones, y más memoria y computación exige el contexto creciente. La mayoría de las soluciones existentes degradan la precisión del modelo, requieren que se cargue el contexto completo antes de que comience la compresión o producen ahorros de memoria que no se traducen en aceleraciones reales en la infraestructura de servicio estándar.
Un equipo de investigación de la Universidad de Nueva York, Columbia, Princeton, la Universidad de Maryland, Harvard y el Laboratorio Nacional Lawrence Livermore. publicó un artículo esta semana que propone una solución novedosa. Los investigadores introducen el concepto de modelos de lenguaje de contexto latente, o LCLM, una familia de modelos de compresión codificador-decodificador que comprimen el contexto de entrada antes de que llegue al decodificador. Los modelos son de código abierto en HuggingFace.
A diferencia de los métodos de compresión de caché KV (el enfoque dominante en el campo, que aún materializa el caché KV completo antes de desalojar las entradas), los LCLM comprimen la secuencia del token de entrada antes del precarga del decodificador, por lo que las relaciones de compresión más altas reducen directamente la computación y la memoria del lado del decodificador. El documento informa que los LCLM con una compresión de 16x produjeron resultados 8,8 veces más rápidos que las líneas base de caché de KV en el punto de referencia de contexto largo de RULER.
«Estos contextos en expansión consumen memoria y computación, y se están convirtiendo en un cuello de botella computacional para los LLM», dijo a VentureBeat Micah Goldblum, co-asesor principal del proyecto e investigador de la Universidad de Columbia. «Nuestro objetivo era entrenar modelos de lenguaje de extremo a extremo que puedan manejar contextos muy largos de manera eficiente y precisa. Si puedes crear un modelo de lenguaje de este tipo, todo será más barato y más rápido».
Qué pueden hacer los LCLM
Los LCLM permiten que los modelos procesen contextos mucho más largos de lo que sería práctico, a una fracción del costo de memoria y computación, sin la degradación de la precisión que hace que la mayoría de los métodos de compresión sean una mala compensación en la producción.
Con una compresión de 4x, el documento informa una precisión del 91,76 % en el punto de referencia RULER, en comparación con el 94,41 % sin compresión alguna. Eso es menos de una caída de 3 puntos para reducir el contexto a una cuarta parte de su tamaño original. Con una compresión de 16x, donde se elimina el 93,75% de los tokens de entrada, la precisión cayó al 75,06%. Cada método de caché KV probado con la misma relación de compresión obtuvo una puntuación más baja.
Las ganancias también se mantienen en entradas más cortas. En los problemas matemáticos escritos de GSM8K, donde se comprime el mensaje completo en lugar de solo los documentos recuperados, los LCLM superaron a todos los demás métodos probados, independientemente de la relación de compresión.
como fue construido
La arquitectura combina un codificador de 0,6 B con un decodificador de 4 B. El codificador comprime bloques de tokens de entrada en secuencias más cortas de incrustaciones latentes. El decodificador los procesa en lugar de los tokens originales. La capacitación abarcó más de 350 mil millones de tokens.
La receta de entrenamiento combina tres tipos de datos:
-
Datos continuos de preentrenamiento con tramos comprimidos y sin comprimir intercalados
-
Datos de ajuste supervisados que cubren razonamiento y tareas de contexto prolongado.
-
Una tarea de reconstrucción auxiliar que empuja al codificador a retener detalles finos
La combinación aborda una compensación que limitaba el trabajo de compresión anterior, donde preservar la precisión de la reconstrucción tenía como costo el desempeño general de la tarea.
Una búsqueda de arquitectura identificó la configuración óptima. El artículo encontró que escalar el decodificador es más importante que escalar el codificador.
Dónde cabe en una pila agente
Un LCLM no es un concepto de investigación abstracto. Está diseñado para funcionar con una pila existente. «Simplemente puede cambiar los LCLM por cualquier LLM existente», dijo Goldblum. «Siempre que recupere datos, como documentos, y desee volcarlos en el contexto de su modelo, simplemente ejecute esos documentos primero a través del compresor del LCLM».
Señaló que en el trabajo de investigación, los investigadores demostraron cómo crear agentes que descompriman selectivamente texto útil.
«Piense en esto como si un ser humano hojeara el contenido antes de acercarse a los detalles relevantes», dijo Goldblum.
Goldblum también advirtió que los equipos que integren el enfoque en los procesos de agentes existentes deberán ajustar sus sistemas RAG en consecuencia.
«Tampoco hemos trabajado en la compresión en línea de las huellas del razonamiento», afirmó. «El enfoque ingenuo de comprimir ocasionalmente el rastro mientras se genera podría funcionar, pero eso aún está por determinarse».
Qué significa esto para las empresas
Las ventanas de contexto están creciendo más rápido de lo que la infraestructura de inferencia puede mantener, y las empresas ya están invirtiendo para solucionarlo. Los datos de la encuesta VB Pulse Q1 2026 de más de 100 organizaciones de empleados muestran que la intención de adopción de la recuperación híbrida se triplicó del 10,3% en enero al 33,3% en marzo. La optimización de la recuperación superó a la evaluación como la principal prioridad de inversión en marzo, alcanzando el 28,9% de los encuestados calificados.
Tres cosas se destacan para los equipos que evalúan el ajuste de la producción:
-
El costo de la inferencia aumenta con la longitud del contexto. Con 1 millón de tokens, la inferencia sin comprimir con métodos de caché KV estándar se queda sin memoria en una sola GPU H200. El artículo informa que los LCLM con compresión 16x permanecen dentro de los límites de la memoria en esa longitud de contexto.
-
La integración del oleoducto RAG requiere ajustes. Los equipos con canales RAG existentes deberán validar el comportamiento de compresión con sus métricas de calidad de recuperación antes de implementarlo a escala.
-
La compresión del rastro de razonamiento no está resuelta. Para los agentes que ejecutan largas cadenas de razonamiento, el crecimiento del contexto a partir del seguimiento es un problema independiente de la recuperación de documentos. Goldblum reconoció la brecha directamente: el enfoque ingenuo de la compresión periódica de trazas podría funcionar, pero no ha sido probado.
Los modelos están disponibles en huggingface.co/latent-context y el código en github.com/LeonLixyz/LCLM.
«Lo más importante que hacen nuestras arquitecturas es darle a su modelo acceso a contextos mucho más grandes, pero también desbloquean enfoques multiescala donde su modelo puede hojear grandes cantidades de texto o código súper rápido y luego solo hace zoom y lee completamente una pequeña porción del texto más útil», dijo Goldblum.
Las ventanas de contexto se están convirtiendo en un cuello de botella computacional. Cuanto más tiempo se ejecuta un agente, más tokens se acumulan a partir de documentos recuperados, rastros de razonamiento e historial de conversaciones, y más memoria y computación exige el contexto creciente. La mayoría de las soluciones existentes degradan la precisión del modelo, requieren que se cargue el contexto completo antes de que comience la compresión o producen ahorros de memoria que no se traducen en aceleraciones reales en la infraestructura de servicio estándar.
Un equipo de investigación de la Universidad de Nueva York, Columbia, Princeton, la Universidad de Maryland, Harvard y el Laboratorio Nacional Lawrence Livermore. publicó un artículo esta semana que propone una solución novedosa. Los investigadores introducen el concepto de modelos de lenguaje de contexto latente, o LCLM, una familia de modelos de compresión codificador-decodificador que comprimen el contexto de entrada antes de que llegue al decodificador. Los modelos son de código abierto en HuggingFace.
A diferencia de los métodos de compresión de caché KV (el enfoque dominante en el campo, que aún materializa el caché KV completo antes de desalojar las entradas), los LCLM comprimen la secuencia del token de entrada antes del precarga del decodificador, por lo que las relaciones de compresión más altas reducen directamente la computación y la memoria del lado del decodificador. El documento informa que los LCLM con una compresión de 16x produjeron resultados 8,8 veces más rápidos que las líneas base de caché de KV en el punto de referencia de contexto largo de RULER.
«Estos contextos en expansión consumen memoria y computación, y se están convirtiendo en un cuello de botella computacional para los LLM», dijo a VentureBeat Micah Goldblum, co-asesor principal del proyecto e investigador de la Universidad de Columbia. «Nuestro objetivo era entrenar modelos de lenguaje de extremo a extremo que puedan manejar contextos muy largos de manera eficiente y precisa. Si puedes crear un modelo de lenguaje de este tipo, todo será más barato y más rápido».
Qué pueden hacer los LCLM
Los LCLM permiten que los modelos procesen contextos mucho más largos de lo que sería práctico, a una fracción del costo de memoria y computación, sin la degradación de la precisión que hace que la mayoría de los métodos de compresión sean una mala compensación en la producción.
Con una compresión de 4x, el documento informa una precisión del 91,76 % en el punto de referencia RULER, en comparación con el 94,41 % sin compresión alguna. Eso es menos de una caída de 3 puntos para reducir el contexto a una cuarta parte de su tamaño original. Con una compresión de 16x, donde se elimina el 93,75% de los tokens de entrada, la precisión cayó al 75,06%. Cada método de caché KV probado con la misma relación de compresión obtuvo una puntuación más baja.
Las ganancias también se mantienen en entradas más cortas. En los problemas matemáticos escritos de GSM8K, donde se comprime el mensaje completo en lugar de solo los documentos recuperados, los LCLM superaron a todos los demás métodos probados, independientemente de la relación de compresión.
como fue construido
La arquitectura combina un codificador de 0,6 B con un decodificador de 4 B. El codificador comprime bloques de tokens de entrada en secuencias más cortas de incrustaciones latentes. El decodificador los procesa en lugar de los tokens originales. La capacitación abarcó más de 350 mil millones de tokens.
La receta de entrenamiento combina tres tipos de datos:
-
Datos continuos de preentrenamiento con tramos comprimidos y sin comprimir intercalados
-
Datos de ajuste supervisados que cubren razonamiento y tareas de contexto prolongado.
-
Una tarea de reconstrucción auxiliar que empuja al codificador a retener detalles finos
La combinación aborda una compensación que limitaba el trabajo de compresión anterior, donde preservar la precisión de la reconstrucción tenía como costo el desempeño general de la tarea.
Una búsqueda de arquitectura identificó la configuración óptima. El artículo encontró que escalar el decodificador es más importante que escalar el codificador.
Dónde cabe en una pila agente
Un LCLM no es un concepto de investigación abstracto. Está diseñado para funcionar con una pila existente. «Simplemente puede cambiar los LCLM por cualquier LLM existente», dijo Goldblum. «Siempre que recupere datos, como documentos, y desee volcarlos en el contexto de su modelo, simplemente ejecute esos documentos primero a través del compresor del LCLM».
Señaló que en el trabajo de investigación, los investigadores demostraron cómo crear agentes que descompriman selectivamente texto útil.
«Piense en esto como si un ser humano hojeara el contenido antes de acercarse a los detalles relevantes», dijo Goldblum.
Goldblum también advirtió que los equipos que integren el enfoque en los procesos de agentes existentes deberán ajustar sus sistemas RAG en consecuencia.
«Tampoco hemos trabajado en la compresión en línea de las huellas del razonamiento», afirmó. «El enfoque ingenuo de comprimir ocasionalmente el rastro mientras se genera podría funcionar, pero eso aún está por determinarse».
Qué significa esto para las empresas
Las ventanas de contexto están creciendo más rápido de lo que la infraestructura de inferencia puede mantener, y las empresas ya están invirtiendo para solucionarlo. Los datos de la encuesta VB Pulse Q1 2026 de más de 100 organizaciones de empleados muestran que la intención de adopción de la recuperación híbrida se triplicó del 10,3% en enero al 33,3% en marzo. La optimización de la recuperación superó a la evaluación como la principal prioridad de inversión en marzo, alcanzando el 28,9% de los encuestados calificados.
Tres cosas se destacan para los equipos que evalúan el ajuste de la producción:
-
El costo de la inferencia aumenta con la longitud del contexto. Con 1 millón de tokens, la inferencia sin comprimir con métodos de caché KV estándar se queda sin memoria en una sola GPU H200. El artículo informa que los LCLM con compresión 16x permanecen dentro de los límites de la memoria en esa longitud de contexto.
-
La integración del oleoducto RAG requiere ajustes. Los equipos con canales RAG existentes deberán validar el comportamiento de compresión con sus métricas de calidad de recuperación antes de implementarlo a escala.
-
La compresión del rastro de razonamiento no está resuelta. Para los agentes que ejecutan largas cadenas de razonamiento, el crecimiento del contexto a partir del seguimiento es un problema independiente de la recuperación de documentos. Goldblum reconoció la brecha directamente: el enfoque ingenuo de la compresión periódica de trazas podría funcionar, pero no ha sido probado.
Los modelos están disponibles en huggingface.co/latent-context y el código en github.com/LeonLixyz/LCLM.
«Lo más importante que hacen nuestras arquitecturas es darle a su modelo acceso a contextos mucho más grandes, pero también desbloquean enfoques multiescala donde su modelo puede hojear grandes cantidades de texto o código súper rápido y luego solo hace zoom y lee completamente una pequeña porción del texto más útil», dijo Goldblum.
Las ventanas de contexto se están convirtiendo en un cuello de botella computacional. Cuanto más tiempo se ejecuta un agente, más tokens se acumulan a partir de documentos recuperados, rastros de razonamiento e historial de conversaciones, y más memoria y computación exige el contexto creciente. La mayoría de las soluciones existentes degradan la precisión del modelo, requieren que se cargue el contexto completo antes de que comience la compresión o producen ahorros de memoria que no se traducen en aceleraciones reales en la infraestructura de servicio estándar.
Un equipo de investigación de la Universidad de Nueva York, Columbia, Princeton, la Universidad de Maryland, Harvard y el Laboratorio Nacional Lawrence Livermore. publicó un artículo esta semana que propone una solución novedosa. Los investigadores introducen el concepto de modelos de lenguaje de contexto latente, o LCLM, una familia de modelos de compresión codificador-decodificador que comprimen el contexto de entrada antes de que llegue al decodificador. Los modelos son de código abierto en HuggingFace.
A diferencia de los métodos de compresión de caché KV (el enfoque dominante en el campo, que aún materializa el caché KV completo antes de desalojar las entradas), los LCLM comprimen la secuencia del token de entrada antes del precarga del decodificador, por lo que las relaciones de compresión más altas reducen directamente la computación y la memoria del lado del decodificador. El documento informa que los LCLM con una compresión de 16x produjeron resultados 8,8 veces más rápidos que las líneas base de caché de KV en el punto de referencia de contexto largo de RULER.
«Estos contextos en expansión consumen memoria y computación, y se están convirtiendo en un cuello de botella computacional para los LLM», dijo a VentureBeat Micah Goldblum, co-asesor principal del proyecto e investigador de la Universidad de Columbia. «Nuestro objetivo era entrenar modelos de lenguaje de extremo a extremo que puedan manejar contextos muy largos de manera eficiente y precisa. Si puedes crear un modelo de lenguaje de este tipo, todo será más barato y más rápido».
Qué pueden hacer los LCLM
Los LCLM permiten que los modelos procesen contextos mucho más largos de lo que sería práctico, a una fracción del costo de memoria y computación, sin la degradación de la precisión que hace que la mayoría de los métodos de compresión sean una mala compensación en la producción.
Con una compresión de 4x, el documento informa una precisión del 91,76 % en el punto de referencia RULER, en comparación con el 94,41 % sin compresión alguna. Eso es menos de una caída de 3 puntos para reducir el contexto a una cuarta parte de su tamaño original. Con una compresión de 16x, donde se elimina el 93,75% de los tokens de entrada, la precisión cayó al 75,06%. Cada método de caché KV probado con la misma relación de compresión obtuvo una puntuación más baja.
Las ganancias también se mantienen en entradas más cortas. En los problemas matemáticos escritos de GSM8K, donde se comprime el mensaje completo en lugar de solo los documentos recuperados, los LCLM superaron a todos los demás métodos probados, independientemente de la relación de compresión.
como fue construido
La arquitectura combina un codificador de 0,6 B con un decodificador de 4 B. El codificador comprime bloques de tokens de entrada en secuencias más cortas de incrustaciones latentes. El decodificador los procesa en lugar de los tokens originales. La capacitación abarcó más de 350 mil millones de tokens.
La receta de entrenamiento combina tres tipos de datos:
-
Datos continuos de preentrenamiento con tramos comprimidos y sin comprimir intercalados
-
Datos de ajuste supervisados que cubren razonamiento y tareas de contexto prolongado.
-
Una tarea de reconstrucción auxiliar que empuja al codificador a retener detalles finos
La combinación aborda una compensación que limitaba el trabajo de compresión anterior, donde preservar la precisión de la reconstrucción tenía como costo el desempeño general de la tarea.
Una búsqueda de arquitectura identificó la configuración óptima. El artículo encontró que escalar el decodificador es más importante que escalar el codificador.
Dónde cabe en una pila agente
Un LCLM no es un concepto de investigación abstracto. Está diseñado para funcionar con una pila existente. «Simplemente puede cambiar los LCLM por cualquier LLM existente», dijo Goldblum. «Siempre que recupere datos, como documentos, y desee volcarlos en el contexto de su modelo, simplemente ejecute esos documentos primero a través del compresor del LCLM».
Señaló que en el trabajo de investigación, los investigadores demostraron cómo crear agentes que descompriman selectivamente texto útil.
«Piense en esto como si un ser humano hojeara el contenido antes de acercarse a los detalles relevantes», dijo Goldblum.
Goldblum también advirtió que los equipos que integren el enfoque en los procesos de agentes existentes deberán ajustar sus sistemas RAG en consecuencia.
«Tampoco hemos trabajado en la compresión en línea de las huellas del razonamiento», afirmó. «El enfoque ingenuo de comprimir ocasionalmente el rastro mientras se genera podría funcionar, pero eso aún está por determinarse».
Qué significa esto para las empresas
Las ventanas de contexto están creciendo más rápido de lo que la infraestructura de inferencia puede mantener, y las empresas ya están invirtiendo para solucionarlo. Los datos de la encuesta VB Pulse Q1 2026 de más de 100 organizaciones de empleados muestran que la intención de adopción de la recuperación híbrida se triplicó del 10,3% en enero al 33,3% en marzo. La optimización de la recuperación superó a la evaluación como la principal prioridad de inversión en marzo, alcanzando el 28,9% de los encuestados calificados.
Tres cosas se destacan para los equipos que evalúan el ajuste de la producción:
-
El costo de la inferencia aumenta con la longitud del contexto. Con 1 millón de tokens, la inferencia sin comprimir con métodos de caché KV estándar se queda sin memoria en una sola GPU H200. El artículo informa que los LCLM con compresión 16x permanecen dentro de los límites de la memoria en esa longitud de contexto.
-
La integración del oleoducto RAG requiere ajustes. Los equipos con canales RAG existentes deberán validar el comportamiento de compresión con sus métricas de calidad de recuperación antes de implementarlo a escala.
-
La compresión del rastro de razonamiento no está resuelta. Para los agentes que ejecutan largas cadenas de razonamiento, el crecimiento del contexto a partir del seguimiento es un problema independiente de la recuperación de documentos. Goldblum reconoció la brecha directamente: el enfoque ingenuo de la compresión periódica de trazas podría funcionar, pero no ha sido probado.
Los modelos están disponibles en huggingface.co/latent-context y el código en github.com/LeonLixyz/LCLM.
«Lo más importante que hacen nuestras arquitecturas es darle a su modelo acceso a contextos mucho más grandes, pero también desbloquean enfoques multiescala donde su modelo puede hojear grandes cantidades de texto o código súper rápido y luego solo hace zoom y lee completamente una pequeña porción del texto más útil», dijo Goldblum.
Las ventanas de contexto se están convirtiendo en un cuello de botella computacional. Cuanto más tiempo se ejecuta un agente, más tokens se acumulan a partir de documentos recuperados, rastros de razonamiento e historial de conversaciones, y más memoria y computación exige el contexto creciente. La mayoría de las soluciones existentes degradan la precisión del modelo, requieren que se cargue el contexto completo antes de que comience la compresión o producen ahorros de memoria que no se traducen en aceleraciones reales en la infraestructura de servicio estándar.
Un equipo de investigación de la Universidad de Nueva York, Columbia, Princeton, la Universidad de Maryland, Harvard y el Laboratorio Nacional Lawrence Livermore. publicó un artículo esta semana que propone una solución novedosa. Los investigadores introducen el concepto de modelos de lenguaje de contexto latente, o LCLM, una familia de modelos de compresión codificador-decodificador que comprimen el contexto de entrada antes de que llegue al decodificador. Los modelos son de código abierto en HuggingFace.
A diferencia de los métodos de compresión de caché KV (el enfoque dominante en el campo, que aún materializa el caché KV completo antes de desalojar las entradas), los LCLM comprimen la secuencia del token de entrada antes del precarga del decodificador, por lo que las relaciones de compresión más altas reducen directamente la computación y la memoria del lado del decodificador. El documento informa que los LCLM con una compresión de 16x produjeron resultados 8,8 veces más rápidos que las líneas base de caché de KV en el punto de referencia de contexto largo de RULER.
«Estos contextos en expansión consumen memoria y computación, y se están convirtiendo en un cuello de botella computacional para los LLM», dijo a VentureBeat Micah Goldblum, co-asesor principal del proyecto e investigador de la Universidad de Columbia. «Nuestro objetivo era entrenar modelos de lenguaje de extremo a extremo que puedan manejar contextos muy largos de manera eficiente y precisa. Si puedes crear un modelo de lenguaje de este tipo, todo será más barato y más rápido».
Qué pueden hacer los LCLM
Los LCLM permiten que los modelos procesen contextos mucho más largos de lo que sería práctico, a una fracción del costo de memoria y computación, sin la degradación de la precisión que hace que la mayoría de los métodos de compresión sean una mala compensación en la producción.
Con una compresión de 4x, el documento informa una precisión del 91,76 % en el punto de referencia RULER, en comparación con el 94,41 % sin compresión alguna. Eso es menos de una caída de 3 puntos para reducir el contexto a una cuarta parte de su tamaño original. Con una compresión de 16x, donde se elimina el 93,75% de los tokens de entrada, la precisión cayó al 75,06%. Cada método de caché KV probado con la misma relación de compresión obtuvo una puntuación más baja.
Las ganancias también se mantienen en entradas más cortas. En los problemas matemáticos escritos de GSM8K, donde se comprime el mensaje completo en lugar de solo los documentos recuperados, los LCLM superaron a todos los demás métodos probados, independientemente de la relación de compresión.
como fue construido
La arquitectura combina un codificador de 0,6 B con un decodificador de 4 B. El codificador comprime bloques de tokens de entrada en secuencias más cortas de incrustaciones latentes. El decodificador los procesa en lugar de los tokens originales. La capacitación abarcó más de 350 mil millones de tokens.
La receta de entrenamiento combina tres tipos de datos:
-
Datos continuos de preentrenamiento con tramos comprimidos y sin comprimir intercalados
-
Datos de ajuste supervisados que cubren razonamiento y tareas de contexto prolongado.
-
Una tarea de reconstrucción auxiliar que empuja al codificador a retener detalles finos
La combinación aborda una compensación que limitaba el trabajo de compresión anterior, donde preservar la precisión de la reconstrucción tenía como costo el desempeño general de la tarea.
Una búsqueda de arquitectura identificó la configuración óptima. El artículo encontró que escalar el decodificador es más importante que escalar el codificador.
Dónde cabe en una pila agente
Un LCLM no es un concepto de investigación abstracto. Está diseñado para funcionar con una pila existente. «Simplemente puede cambiar los LCLM por cualquier LLM existente», dijo Goldblum. «Siempre que recupere datos, como documentos, y desee volcarlos en el contexto de su modelo, simplemente ejecute esos documentos primero a través del compresor del LCLM».
Señaló que en el trabajo de investigación, los investigadores demostraron cómo crear agentes que descompriman selectivamente texto útil.
«Piense en esto como si un ser humano hojeara el contenido antes de acercarse a los detalles relevantes», dijo Goldblum.
Goldblum también advirtió que los equipos que integren el enfoque en los procesos de agentes existentes deberán ajustar sus sistemas RAG en consecuencia.
«Tampoco hemos trabajado en la compresión en línea de las huellas del razonamiento», afirmó. «El enfoque ingenuo de comprimir ocasionalmente el rastro mientras se genera podría funcionar, pero eso aún está por determinarse».
Qué significa esto para las empresas
Las ventanas de contexto están creciendo más rápido de lo que la infraestructura de inferencia puede mantener, y las empresas ya están invirtiendo para solucionarlo. Los datos de la encuesta VB Pulse Q1 2026 de más de 100 organizaciones de empleados muestran que la intención de adopción de la recuperación híbrida se triplicó del 10,3% en enero al 33,3% en marzo. La optimización de la recuperación superó a la evaluación como la principal prioridad de inversión en marzo, alcanzando el 28,9% de los encuestados calificados.
Tres cosas se destacan para los equipos que evalúan el ajuste de la producción:
-
El costo de la inferencia aumenta con la longitud del contexto. Con 1 millón de tokens, la inferencia sin comprimir con métodos de caché KV estándar se queda sin memoria en una sola GPU H200. El artículo informa que los LCLM con compresión 16x permanecen dentro de los límites de la memoria en esa longitud de contexto.
-
La integración del oleoducto RAG requiere ajustes. Los equipos con canales RAG existentes deberán validar el comportamiento de compresión con sus métricas de calidad de recuperación antes de implementarlo a escala.
-
La compresión del rastro de razonamiento no está resuelta. Para los agentes que ejecutan largas cadenas de razonamiento, el crecimiento del contexto a partir del seguimiento es un problema independiente de la recuperación de documentos. Goldblum reconoció la brecha directamente: el enfoque ingenuo de la compresión periódica de trazas podría funcionar, pero no ha sido probado.
Los modelos están disponibles en huggingface.co/latent-context y el código en github.com/LeonLixyz/LCLM.
«Lo más importante que hacen nuestras arquitecturas es darle a su modelo acceso a contextos mucho más grandes, pero también desbloquean enfoques multiescala donde su modelo puede hojear grandes cantidades de texto o código súper rápido y luego solo hace zoom y lee completamente una pequeña porción del texto más útil», dijo Goldblum.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
Las ventanas de contexto se están convirtiendo en un cuello de botella computacional. Cuanto más tiempo se ejecuta un agente, más tokens se acumulan a partir de documentos recuperados, rastros de razonamiento e historial de conversaciones, y más memoria y computación exige el contexto creciente. La mayoría de las soluciones existentes degradan la precisión del modelo, requieren que se cargue el contexto completo antes de que comience la compresión o producen ahorros de memoria que no se traducen en aceleraciones reales en la infraestructura de servicio estándar.
Un equipo de investigación de la Universidad de Nueva York, Columbia, Princeton, la Universidad de Maryland, Harvard y el Laboratorio Nacional Lawrence Livermore. publicó un artículo esta semana que propone una solución novedosa. Los investigadores introducen el concepto de modelos de lenguaje de contexto latente, o LCLM, una familia de modelos de compresión codificador-decodificador que comprimen el contexto de entrada antes de que llegue al decodificador. Los modelos son de código abierto en HuggingFace.
A diferencia de los métodos de compresión de caché KV (el enfoque dominante en el campo, que aún materializa el caché KV completo antes de desalojar las entradas), los LCLM comprimen la secuencia del token de entrada antes del precarga del decodificador, por lo que las relaciones de compresión más altas reducen directamente la computación y la memoria del lado del decodificador. El documento informa que los LCLM con una compresión de 16x produjeron resultados 8,8 veces más rápidos que las líneas base de caché de KV en el punto de referencia de contexto largo de RULER.
«Estos contextos en expansión consumen memoria y computación, y se están convirtiendo en un cuello de botella computacional para los LLM», dijo a VentureBeat Micah Goldblum, co-asesor principal del proyecto e investigador de la Universidad de Columbia. «Nuestro objetivo era entrenar modelos de lenguaje de extremo a extremo que puedan manejar contextos muy largos de manera eficiente y precisa. Si puedes crear un modelo de lenguaje de este tipo, todo será más barato y más rápido».
Qué pueden hacer los LCLM
Los LCLM permiten que los modelos procesen contextos mucho más largos de lo que sería práctico, a una fracción del costo de memoria y computación, sin la degradación de la precisión que hace que la mayoría de los métodos de compresión sean una mala compensación en la producción.
Con una compresión de 4x, el documento informa una precisión del 91,76 % en el punto de referencia RULER, en comparación con el 94,41 % sin compresión alguna. Eso es menos de una caída de 3 puntos para reducir el contexto a una cuarta parte de su tamaño original. Con una compresión de 16x, donde se elimina el 93,75% de los tokens de entrada, la precisión cayó al 75,06%. Cada método de caché KV probado con la misma relación de compresión obtuvo una puntuación más baja.
Las ganancias también se mantienen en entradas más cortas. En los problemas matemáticos escritos de GSM8K, donde se comprime el mensaje completo en lugar de solo los documentos recuperados, los LCLM superaron a todos los demás métodos probados, independientemente de la relación de compresión.
como fue construido
La arquitectura combina un codificador de 0,6 B con un decodificador de 4 B. El codificador comprime bloques de tokens de entrada en secuencias más cortas de incrustaciones latentes. El decodificador los procesa en lugar de los tokens originales. La capacitación abarcó más de 350 mil millones de tokens.
La receta de entrenamiento combina tres tipos de datos:
-
Datos continuos de preentrenamiento con tramos comprimidos y sin comprimir intercalados
-
Datos de ajuste supervisados que cubren razonamiento y tareas de contexto prolongado.
-
Una tarea de reconstrucción auxiliar que empuja al codificador a retener detalles finos
La combinación aborda una compensación que limitaba el trabajo de compresión anterior, donde preservar la precisión de la reconstrucción tenía como costo el desempeño general de la tarea.
Una búsqueda de arquitectura identificó la configuración óptima. El artículo encontró que escalar el decodificador es más importante que escalar el codificador.
Dónde cabe en una pila agente
Un LCLM no es un concepto de investigación abstracto. Está diseñado para funcionar con una pila existente. «Simplemente puede cambiar los LCLM por cualquier LLM existente», dijo Goldblum. «Siempre que recupere datos, como documentos, y desee volcarlos en el contexto de su modelo, simplemente ejecute esos documentos primero a través del compresor del LCLM».
Señaló que en el trabajo de investigación, los investigadores demostraron cómo crear agentes que descompriman selectivamente texto útil.
«Piense en esto como si un ser humano hojeara el contenido antes de acercarse a los detalles relevantes», dijo Goldblum.
Goldblum también advirtió que los equipos que integren el enfoque en los procesos de agentes existentes deberán ajustar sus sistemas RAG en consecuencia.
«Tampoco hemos trabajado en la compresión en línea de las huellas del razonamiento», afirmó. «El enfoque ingenuo de comprimir ocasionalmente el rastro mientras se genera podría funcionar, pero eso aún está por determinarse».
Qué significa esto para las empresas
Las ventanas de contexto están creciendo más rápido de lo que la infraestructura de inferencia puede mantener, y las empresas ya están invirtiendo para solucionarlo. Los datos de la encuesta VB Pulse Q1 2026 de más de 100 organizaciones de empleados muestran que la intención de adopción de la recuperación híbrida se triplicó del 10,3% en enero al 33,3% en marzo. La optimización de la recuperación superó a la evaluación como la principal prioridad de inversión en marzo, alcanzando el 28,9% de los encuestados calificados.
Tres cosas se destacan para los equipos que evalúan el ajuste de la producción:
-
El costo de la inferencia aumenta con la longitud del contexto. Con 1 millón de tokens, la inferencia sin comprimir con métodos de caché KV estándar se queda sin memoria en una sola GPU H200. El artículo informa que los LCLM con compresión 16x permanecen dentro de los límites de la memoria en esa longitud de contexto.
-
La integración del oleoducto RAG requiere ajustes. Los equipos con canales RAG existentes deberán validar el comportamiento de compresión con sus métricas de calidad de recuperación antes de implementarlo a escala.
-
La compresión del rastro de razonamiento no está resuelta. Para los agentes que ejecutan largas cadenas de razonamiento, el crecimiento del contexto a partir del seguimiento es un problema independiente de la recuperación de documentos. Goldblum reconoció la brecha directamente: el enfoque ingenuo de la compresión periódica de trazas podría funcionar, pero no ha sido probado.
Los modelos están disponibles en huggingface.co/latent-context y el código en github.com/LeonLixyz/LCLM.
«Lo más importante que hacen nuestras arquitecturas es darle a su modelo acceso a contextos mucho más grandes, pero también desbloquean enfoques multiescala donde su modelo puede hojear grandes cantidades de texto o código súper rápido y luego solo hace zoom y lee completamente una pequeña porción del texto más útil», dijo Goldblum.
Las ventanas de contexto se están convirtiendo en un cuello de botella computacional. Cuanto más tiempo se ejecuta un agente, más tokens se acumulan a partir de documentos recuperados, rastros de razonamiento e historial de conversaciones, y más memoria y computación exige el contexto creciente. La mayoría de las soluciones existentes degradan la precisión del modelo, requieren que se cargue el contexto completo antes de que comience la compresión o producen ahorros de memoria que no se traducen en aceleraciones reales en la infraestructura de servicio estándar.
Un equipo de investigación de la Universidad de Nueva York, Columbia, Princeton, la Universidad de Maryland, Harvard y el Laboratorio Nacional Lawrence Livermore. publicó un artículo esta semana que propone una solución novedosa. Los investigadores introducen el concepto de modelos de lenguaje de contexto latente, o LCLM, una familia de modelos de compresión codificador-decodificador que comprimen el contexto de entrada antes de que llegue al decodificador. Los modelos son de código abierto en HuggingFace.
A diferencia de los métodos de compresión de caché KV (el enfoque dominante en el campo, que aún materializa el caché KV completo antes de desalojar las entradas), los LCLM comprimen la secuencia del token de entrada antes del precarga del decodificador, por lo que las relaciones de compresión más altas reducen directamente la computación y la memoria del lado del decodificador. El documento informa que los LCLM con una compresión de 16x produjeron resultados 8,8 veces más rápidos que las líneas base de caché de KV en el punto de referencia de contexto largo de RULER.
«Estos contextos en expansión consumen memoria y computación, y se están convirtiendo en un cuello de botella computacional para los LLM», dijo a VentureBeat Micah Goldblum, co-asesor principal del proyecto e investigador de la Universidad de Columbia. «Nuestro objetivo era entrenar modelos de lenguaje de extremo a extremo que puedan manejar contextos muy largos de manera eficiente y precisa. Si puedes crear un modelo de lenguaje de este tipo, todo será más barato y más rápido».
Qué pueden hacer los LCLM
Los LCLM permiten que los modelos procesen contextos mucho más largos de lo que sería práctico, a una fracción del costo de memoria y computación, sin la degradación de la precisión que hace que la mayoría de los métodos de compresión sean una mala compensación en la producción.
Con una compresión de 4x, el documento informa una precisión del 91,76 % en el punto de referencia RULER, en comparación con el 94,41 % sin compresión alguna. Eso es menos de una caída de 3 puntos para reducir el contexto a una cuarta parte de su tamaño original. Con una compresión de 16x, donde se elimina el 93,75% de los tokens de entrada, la precisión cayó al 75,06%. Cada método de caché KV probado con la misma relación de compresión obtuvo una puntuación más baja.
Las ganancias también se mantienen en entradas más cortas. En los problemas matemáticos escritos de GSM8K, donde se comprime el mensaje completo en lugar de solo los documentos recuperados, los LCLM superaron a todos los demás métodos probados, independientemente de la relación de compresión.
como fue construido
La arquitectura combina un codificador de 0,6 B con un decodificador de 4 B. El codificador comprime bloques de tokens de entrada en secuencias más cortas de incrustaciones latentes. El decodificador los procesa en lugar de los tokens originales. La capacitación abarcó más de 350 mil millones de tokens.
La receta de entrenamiento combina tres tipos de datos:
-
Datos continuos de preentrenamiento con tramos comprimidos y sin comprimir intercalados
-
Datos de ajuste supervisados que cubren razonamiento y tareas de contexto prolongado.
-
Una tarea de reconstrucción auxiliar que empuja al codificador a retener detalles finos
La combinación aborda una compensación que limitaba el trabajo de compresión anterior, donde preservar la precisión de la reconstrucción tenía como costo el desempeño general de la tarea.
Una búsqueda de arquitectura identificó la configuración óptima. El artículo encontró que escalar el decodificador es más importante que escalar el codificador.
Dónde cabe en una pila agente
Un LCLM no es un concepto de investigación abstracto. Está diseñado para funcionar con una pila existente. «Simplemente puede cambiar los LCLM por cualquier LLM existente», dijo Goldblum. «Siempre que recupere datos, como documentos, y desee volcarlos en el contexto de su modelo, simplemente ejecute esos documentos primero a través del compresor del LCLM».
Señaló que en el trabajo de investigación, los investigadores demostraron cómo crear agentes que descompriman selectivamente texto útil.
«Piense en esto como si un ser humano hojeara el contenido antes de acercarse a los detalles relevantes», dijo Goldblum.
Goldblum también advirtió que los equipos que integren el enfoque en los procesos de agentes existentes deberán ajustar sus sistemas RAG en consecuencia.
«Tampoco hemos trabajado en la compresión en línea de las huellas del razonamiento», afirmó. «El enfoque ingenuo de comprimir ocasionalmente el rastro mientras se genera podría funcionar, pero eso aún está por determinarse».
Qué significa esto para las empresas
Las ventanas de contexto están creciendo más rápido de lo que la infraestructura de inferencia puede mantener, y las empresas ya están invirtiendo para solucionarlo. Los datos de la encuesta VB Pulse Q1 2026 de más de 100 organizaciones de empleados muestran que la intención de adopción de la recuperación híbrida se triplicó del 10,3% en enero al 33,3% en marzo. La optimización de la recuperación superó a la evaluación como la principal prioridad de inversión en marzo, alcanzando el 28,9% de los encuestados calificados.
Tres cosas se destacan para los equipos que evalúan el ajuste de la producción:
-
El costo de la inferencia aumenta con la longitud del contexto. Con 1 millón de tokens, la inferencia sin comprimir con métodos de caché KV estándar se queda sin memoria en una sola GPU H200. El artículo informa que los LCLM con compresión 16x permanecen dentro de los límites de la memoria en esa longitud de contexto.
-
La integración del oleoducto RAG requiere ajustes. Los equipos con canales RAG existentes deberán validar el comportamiento de compresión con sus métricas de calidad de recuperación antes de implementarlo a escala.
-
La compresión del rastro de razonamiento no está resuelta. Para los agentes que ejecutan largas cadenas de razonamiento, el crecimiento del contexto a partir del seguimiento es un problema independiente de la recuperación de documentos. Goldblum reconoció la brecha directamente: el enfoque ingenuo de la compresión periódica de trazas podría funcionar, pero no ha sido probado.
Los modelos están disponibles en huggingface.co/latent-context y el código en github.com/LeonLixyz/LCLM.
«Lo más importante que hacen nuestras arquitecturas es darle a su modelo acceso a contextos mucho más grandes, pero también desbloquean enfoques multiescala donde su modelo puede hojear grandes cantidades de texto o código súper rápido y luego solo hace zoom y lee completamente una pequeña porción del texto más útil», dijo Goldblum.
Las ventanas de contexto se están convirtiendo en un cuello de botella computacional. Cuanto más tiempo se ejecuta un agente, más tokens se acumulan a partir de documentos recuperados, rastros de razonamiento e historial de conversaciones, y más memoria y computación exige el contexto creciente. La mayoría de las soluciones existentes degradan la precisión del modelo, requieren que se cargue el contexto completo antes de que comience la compresión o producen ahorros de memoria que no se traducen en aceleraciones reales en la infraestructura de servicio estándar.
Un equipo de investigación de la Universidad de Nueva York, Columbia, Princeton, la Universidad de Maryland, Harvard y el Laboratorio Nacional Lawrence Livermore. publicó un artículo esta semana que propone una solución novedosa. Los investigadores introducen el concepto de modelos de lenguaje de contexto latente, o LCLM, una familia de modelos de compresión codificador-decodificador que comprimen el contexto de entrada antes de que llegue al decodificador. Los modelos son de código abierto en HuggingFace.
A diferencia de los métodos de compresión de caché KV (el enfoque dominante en el campo, que aún materializa el caché KV completo antes de desalojar las entradas), los LCLM comprimen la secuencia del token de entrada antes del precarga del decodificador, por lo que las relaciones de compresión más altas reducen directamente la computación y la memoria del lado del decodificador. El documento informa que los LCLM con una compresión de 16x produjeron resultados 8,8 veces más rápidos que las líneas base de caché de KV en el punto de referencia de contexto largo de RULER.
«Estos contextos en expansión consumen memoria y computación, y se están convirtiendo en un cuello de botella computacional para los LLM», dijo a VentureBeat Micah Goldblum, co-asesor principal del proyecto e investigador de la Universidad de Columbia. «Nuestro objetivo era entrenar modelos de lenguaje de extremo a extremo que puedan manejar contextos muy largos de manera eficiente y precisa. Si puedes crear un modelo de lenguaje de este tipo, todo será más barato y más rápido».
Qué pueden hacer los LCLM
Los LCLM permiten que los modelos procesen contextos mucho más largos de lo que sería práctico, a una fracción del costo de memoria y computación, sin la degradación de la precisión que hace que la mayoría de los métodos de compresión sean una mala compensación en la producción.
Con una compresión de 4x, el documento informa una precisión del 91,76 % en el punto de referencia RULER, en comparación con el 94,41 % sin compresión alguna. Eso es menos de una caída de 3 puntos para reducir el contexto a una cuarta parte de su tamaño original. Con una compresión de 16x, donde se elimina el 93,75% de los tokens de entrada, la precisión cayó al 75,06%. Cada método de caché KV probado con la misma relación de compresión obtuvo una puntuación más baja.
Las ganancias también se mantienen en entradas más cortas. En los problemas matemáticos escritos de GSM8K, donde se comprime el mensaje completo en lugar de solo los documentos recuperados, los LCLM superaron a todos los demás métodos probados, independientemente de la relación de compresión.
como fue construido
La arquitectura combina un codificador de 0,6 B con un decodificador de 4 B. El codificador comprime bloques de tokens de entrada en secuencias más cortas de incrustaciones latentes. El decodificador los procesa en lugar de los tokens originales. La capacitación abarcó más de 350 mil millones de tokens.
La receta de entrenamiento combina tres tipos de datos:
-
Datos continuos de preentrenamiento con tramos comprimidos y sin comprimir intercalados
-
Datos de ajuste supervisados que cubren razonamiento y tareas de contexto prolongado.
-
Una tarea de reconstrucción auxiliar que empuja al codificador a retener detalles finos
La combinación aborda una compensación que limitaba el trabajo de compresión anterior, donde preservar la precisión de la reconstrucción tenía como costo el desempeño general de la tarea.
Una búsqueda de arquitectura identificó la configuración óptima. El artículo encontró que escalar el decodificador es más importante que escalar el codificador.
Dónde cabe en una pila agente
Un LCLM no es un concepto de investigación abstracto. Está diseñado para funcionar con una pila existente. «Simplemente puede cambiar los LCLM por cualquier LLM existente», dijo Goldblum. «Siempre que recupere datos, como documentos, y desee volcarlos en el contexto de su modelo, simplemente ejecute esos documentos primero a través del compresor del LCLM».
Señaló que en el trabajo de investigación, los investigadores demostraron cómo crear agentes que descompriman selectivamente texto útil.
«Piense en esto como si un ser humano hojeara el contenido antes de acercarse a los detalles relevantes», dijo Goldblum.
Goldblum también advirtió que los equipos que integren el enfoque en los procesos de agentes existentes deberán ajustar sus sistemas RAG en consecuencia.
«Tampoco hemos trabajado en la compresión en línea de las huellas del razonamiento», afirmó. «El enfoque ingenuo de comprimir ocasionalmente el rastro mientras se genera podría funcionar, pero eso aún está por determinarse».
Qué significa esto para las empresas
Las ventanas de contexto están creciendo más rápido de lo que la infraestructura de inferencia puede mantener, y las empresas ya están invirtiendo para solucionarlo. Los datos de la encuesta VB Pulse Q1 2026 de más de 100 organizaciones de empleados muestran que la intención de adopción de la recuperación híbrida se triplicó del 10,3% en enero al 33,3% en marzo. La optimización de la recuperación superó a la evaluación como la principal prioridad de inversión en marzo, alcanzando el 28,9% de los encuestados calificados.
Tres cosas se destacan para los equipos que evalúan el ajuste de la producción:
-
El costo de la inferencia aumenta con la longitud del contexto. Con 1 millón de tokens, la inferencia sin comprimir con métodos de caché KV estándar se queda sin memoria en una sola GPU H200. El artículo informa que los LCLM con compresión 16x permanecen dentro de los límites de la memoria en esa longitud de contexto.
-
La integración del oleoducto RAG requiere ajustes. Los equipos con canales RAG existentes deberán validar el comportamiento de compresión con sus métricas de calidad de recuperación antes de implementarlo a escala.
-
La compresión del rastro de razonamiento no está resuelta. Para los agentes que ejecutan largas cadenas de razonamiento, el crecimiento del contexto a partir del seguimiento es un problema independiente de la recuperación de documentos. Goldblum reconoció la brecha directamente: el enfoque ingenuo de la compresión periódica de trazas podría funcionar, pero no ha sido probado.
Los modelos están disponibles en huggingface.co/latent-context y el código en github.com/LeonLixyz/LCLM.
«Lo más importante que hacen nuestras arquitecturas es darle a su modelo acceso a contextos mucho más grandes, pero también desbloquean enfoques multiescala donde su modelo puede hojear grandes cantidades de texto o código súper rápido y luego solo hace zoom y lee completamente una pequeña porción del texto más útil», dijo Goldblum.
Las ventanas de contexto se están convirtiendo en un cuello de botella computacional. Cuanto más tiempo se ejecuta un agente, más tokens se acumulan a partir de documentos recuperados, rastros de razonamiento e historial de conversaciones, y más memoria y computación exige el contexto creciente. La mayoría de las soluciones existentes degradan la precisión del modelo, requieren que se cargue el contexto completo antes de que comience la compresión o producen ahorros de memoria que no se traducen en aceleraciones reales en la infraestructura de servicio estándar.
Un equipo de investigación de la Universidad de Nueva York, Columbia, Princeton, la Universidad de Maryland, Harvard y el Laboratorio Nacional Lawrence Livermore. publicó un artículo esta semana que propone una solución novedosa. Los investigadores introducen el concepto de modelos de lenguaje de contexto latente, o LCLM, una familia de modelos de compresión codificador-decodificador que comprimen el contexto de entrada antes de que llegue al decodificador. Los modelos son de código abierto en HuggingFace.
A diferencia de los métodos de compresión de caché KV (el enfoque dominante en el campo, que aún materializa el caché KV completo antes de desalojar las entradas), los LCLM comprimen la secuencia del token de entrada antes del precarga del decodificador, por lo que las relaciones de compresión más altas reducen directamente la computación y la memoria del lado del decodificador. El documento informa que los LCLM con una compresión de 16x produjeron resultados 8,8 veces más rápidos que las líneas base de caché de KV en el punto de referencia de contexto largo de RULER.
«Estos contextos en expansión consumen memoria y computación, y se están convirtiendo en un cuello de botella computacional para los LLM», dijo a VentureBeat Micah Goldblum, co-asesor principal del proyecto e investigador de la Universidad de Columbia. «Nuestro objetivo era entrenar modelos de lenguaje de extremo a extremo que puedan manejar contextos muy largos de manera eficiente y precisa. Si puedes crear un modelo de lenguaje de este tipo, todo será más barato y más rápido».
Qué pueden hacer los LCLM
Los LCLM permiten que los modelos procesen contextos mucho más largos de lo que sería práctico, a una fracción del costo de memoria y computación, sin la degradación de la precisión que hace que la mayoría de los métodos de compresión sean una mala compensación en la producción.
Con una compresión de 4x, el documento informa una precisión del 91,76 % en el punto de referencia RULER, en comparación con el 94,41 % sin compresión alguna. Eso es menos de una caída de 3 puntos para reducir el contexto a una cuarta parte de su tamaño original. Con una compresión de 16x, donde se elimina el 93,75% de los tokens de entrada, la precisión cayó al 75,06%. Cada método de caché KV probado con la misma relación de compresión obtuvo una puntuación más baja.
Las ganancias también se mantienen en entradas más cortas. En los problemas matemáticos escritos de GSM8K, donde se comprime el mensaje completo en lugar de solo los documentos recuperados, los LCLM superaron a todos los demás métodos probados, independientemente de la relación de compresión.
como fue construido
La arquitectura combina un codificador de 0,6 B con un decodificador de 4 B. El codificador comprime bloques de tokens de entrada en secuencias más cortas de incrustaciones latentes. El decodificador los procesa en lugar de los tokens originales. La capacitación abarcó más de 350 mil millones de tokens.
La receta de entrenamiento combina tres tipos de datos:
-
Datos continuos de preentrenamiento con tramos comprimidos y sin comprimir intercalados
-
Datos de ajuste supervisados que cubren razonamiento y tareas de contexto prolongado.
-
Una tarea de reconstrucción auxiliar que empuja al codificador a retener detalles finos
La combinación aborda una compensación que limitaba el trabajo de compresión anterior, donde preservar la precisión de la reconstrucción tenía como costo el desempeño general de la tarea.
Una búsqueda de arquitectura identificó la configuración óptima. El artículo encontró que escalar el decodificador es más importante que escalar el codificador.
Dónde cabe en una pila agente
Un LCLM no es un concepto de investigación abstracto. Está diseñado para funcionar con una pila existente. «Simplemente puede cambiar los LCLM por cualquier LLM existente», dijo Goldblum. «Siempre que recupere datos, como documentos, y desee volcarlos en el contexto de su modelo, simplemente ejecute esos documentos primero a través del compresor del LCLM».
Señaló que en el trabajo de investigación, los investigadores demostraron cómo crear agentes que descompriman selectivamente texto útil.
«Piense en esto como si un ser humano hojeara el contenido antes de acercarse a los detalles relevantes», dijo Goldblum.
Goldblum también advirtió que los equipos que integren el enfoque en los procesos de agentes existentes deberán ajustar sus sistemas RAG en consecuencia.
«Tampoco hemos trabajado en la compresión en línea de las huellas del razonamiento», afirmó. «El enfoque ingenuo de comprimir ocasionalmente el rastro mientras se genera podría funcionar, pero eso aún está por determinarse».
Qué significa esto para las empresas
Las ventanas de contexto están creciendo más rápido de lo que la infraestructura de inferencia puede mantener, y las empresas ya están invirtiendo para solucionarlo. Los datos de la encuesta VB Pulse Q1 2026 de más de 100 organizaciones de empleados muestran que la intención de adopción de la recuperación híbrida se triplicó del 10,3% en enero al 33,3% en marzo. La optimización de la recuperación superó a la evaluación como la principal prioridad de inversión en marzo, alcanzando el 28,9% de los encuestados calificados.
Tres cosas se destacan para los equipos que evalúan el ajuste de la producción:
-
El costo de la inferencia aumenta con la longitud del contexto. Con 1 millón de tokens, la inferencia sin comprimir con métodos de caché KV estándar se queda sin memoria en una sola GPU H200. El artículo informa que los LCLM con compresión 16x permanecen dentro de los límites de la memoria en esa longitud de contexto.
-
La integración del oleoducto RAG requiere ajustes. Los equipos con canales RAG existentes deberán validar el comportamiento de compresión con sus métricas de calidad de recuperación antes de implementarlo a escala.
-
La compresión del rastro de razonamiento no está resuelta. Para los agentes que ejecutan largas cadenas de razonamiento, el crecimiento del contexto a partir del seguimiento es un problema independiente de la recuperación de documentos. Goldblum reconoció la brecha directamente: el enfoque ingenuo de la compresión periódica de trazas podría funcionar, pero no ha sido probado.
Los modelos están disponibles en huggingface.co/latent-context y el código en github.com/LeonLixyz/LCLM.
«Lo más importante que hacen nuestras arquitecturas es darle a su modelo acceso a contextos mucho más grandes, pero también desbloquean enfoques multiescala donde su modelo puede hojear grandes cantidades de texto o código súper rápido y luego solo hace zoom y lee completamente una pequeña porción del texto más útil», dijo Goldblum.
