Presentado por Solidigm.
A medida que las cargas de trabajo de inferencia evolucionan desde intercambios discretos de preguntas y respuestas hasta sistemas agentes persistentes y de múltiples etapas, la disponibilidad de GPU ya no es el cuello de botella más crítico en la IA. En cambio, el cuello de botella ha pasado de la computación al contexto, afirma Jeff Harthorn, jefe de investigación de IA aplicada en Solidigm.
«Por qué la gestión del contexto se ha convertido en un cuello de botella importante, más que la disponibilidad de la GPU o la eficiencia computacional, es una cuestión de 2026», afirma Harthorn. «Las GPU se han vuelto significativamente más baratas por FLOP. Las arquitecturas de modelos y los motores de servicios de inferencia se han vuelto mucho más eficientes. Pero lo que ha crecido más rápido que ambos es el contexto. El estado persistente que debe vivir entre sesiones ha crecido incluso más rápido que el contexto mismo».
Esto sucede a medida que las ventanas emergentes se vuelven significativamente más grandes, lo que hace que las entradas individuales sean mucho más importantes que antes. Los sistemas de IA agente encadenan docenas o cientos de llamadas de modelos, y es necesario realizar un seguimiento de cada estado generador, y las empresas requieren que el estado de inferencia persista en las sesiones para su auditoría, gobernanza y reutilización. Estas tendencias se combinan entre sí, empujando los volúmenes de contexto más allá de lo que fue diseñado cualquier nivel de memoria existente.
«Estas tres cosas están sucediendo al mismo tiempo, y todas ellas están empujando los datos contextuales y la memoria contextual a la estratosfera mucho más rápido de lo que estamos acostumbrados», agrega Ace Stryker, director de IA y marketing de ecosistemas en Solidigm.
La solución es un nivel de contexto dedicado que surge entre la memoria GPU y el almacenamiento masivo en red: una capa flash de alto rendimiento y alta densidad diseñada específicamente para contener y servir caché de valores clave (KV), datos de inferencia que permiten a los modelos retener y reutilizar el contexto, y recuperar datos a velocidad de inferencia. Nvidia formalizó esta arquitectura bajo el término CMX. Las empresas de almacenamiento, incluida Solidigm, están creando productos SSD optimizados para esta carga de trabajo.
«El almacenamiento no es lo primero en lo que piensa la gente cuando planea construir su infraestructura empresarial», dice Stryker. «En muchos sentidos, era un costo relativamente bajo en comparación con las matemáticas, y era un producto básico. Simplemente buscaba el precio más bajo por gigabyte y lo consideraba bueno. Pero ahora, si su almacenamiento no está a la altura, su retorno de la inversión se ve afectado y eso afecta directamente sus resultados.
Por qué la inferencia de IA requiere una arquitectura de almacenamiento diferente a la del entrenamiento
La arquitectura de almacenamiento en la que se basan los sistemas de IA hoy en día se hereda en gran medida de los flujos de trabajo de capacitación. El entrenamiento es secuencial y está dominado por la escritura, con datos movidos en grandes bloques hacia y desde el almacenamiento de objetos masivos. La estructura por niveles, con memoria de gran ancho de banda en la GPU, NVMe rápido en el servidor y almacenamiento masivo en la red, aborda este caso de uso razonablemente bien.
Sin embargo, la inferencia es un asunto completamente diferente. Su firma de E/S es fina, sensible a la latencia y cada vez más dinámica. Los datos de caché y de recuperación de KV tienen patrones de acceso distintos, pero ambos deben entregarse rápidamente y reutilizarse en todas las interacciones. Ninguno de los dos encaja bien en la memoria GPU de gran ancho de banda, que es costosa y físicamente limitada, ni en el almacenamiento masivo tradicional, que nunca fue diseñado para cargas de trabajo de inferencia activa.
«La brecha arquitectónica que me interesa en este momento no está en la parte superior o inferior de la pila, sino en el medio», dice Harthon. «A gran parte de lo que hay debajo de la GPU de HBM se le pide que haga cosas para las que en realidad no fue diseñada, y ahí es donde están sucediendo los sistemas más interesantes hoy en día».
Uno de los síntomas más visibles de esta brecha es el recálculo. En inferencia, el paso de prellenado procesa todo el contexto relevante para una sesión determinada antes de que pueda comenzar la generación del token. Cuando el estado de la caché de KV no está disponible en un nivel rápido y accesible, el sistema lo recalcula, quemando ciclos de GPU que no producen valores nuevos.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
«Una parte importante de los ciclos de GPU acaban rellenándose», afirma Harthon. «Durante todo este contexto computacional, los cálculos potencialmente se gastan en reproducir el estado, en lugar de realizar nuevos trabajos. Cuando comienzas a ver el problema de esa manera, la utilización de la GPU comienza a parecerse en parte a un problema de almacenamiento».
Este replanteamiento despierta un renovado interés en una métrica tomada de las redes: goodput, o tokens útiles por dólar, en lugar de tokens brutos por dólar.
El nivel de memoria contextual de la IA y cómo funciona
La respuesta de la industria adopta una forma estructural. Surge un nuevo nivel entre la memoria de GPU y el almacenamiento de red tradicional, diseñado específicamente para contener y servir contexto de inferencia, una capa separada de los discos dentro de los servidores de GPU (G3) y servidores de almacenamiento de red (G4), diseñada para devolver datos de contexto a los aceleradores lo más rápido posible.
«Si está construyendo un centro de datos a partir de la segunda mitad de este año o principios del próximo, no puede pensar en que el almacenamiento resida sólo en dos lugares», afirma Stryker. «El almacenamiento debe residir en al menos tres lugares para manejar el nivel de memoria contextual, y esto probablemente será una parte permanente de cómo se construye la infraestructura en el futuro».
Esto es similar al surgimiento del almacenamiento de objetos como categoría, que solo existía cuando suficientes cargas de trabajo lo necesitaban. Y una vez hecho esto, desarrolló sus propios primitivos, SLA, modelos de costos y un ecosistema de proveedores.
«El nivel del contexto parece estar en un arco similar», dice Harthorn. «Esta presión volumétrica está impulsando la formación de una categoría, más que la hoja de ruta de un proveedor determinado».
Para los administradores de infraestructuras, esto significa planificar activamente el nuevo nivel en lugar de tratarlo como algo opcional. La implementación de NAND adicional en esta capa reduce la dependencia de la DRAM, que cuesta varios órdenes de magnitud más por gigabyte y está limitada en términos de disponibilidad y margen térmico.
“En términos de efectividad de su inversión, gastará menos dinero en hacerlo si confía en la capa SSD de la manera que Nvidia ahora recomienda y prescribe para muchos casos de uso”, agrega Stryker.
Lo que Flash debe ofrecer para soportar la inferencia de IA
Participar de manera significativa en la pila de inferencia plantea nuevas exigencias a la tecnología SSD. La latencia de cola, el peor rendimiento de una unidad, debería ser predecible, no sólo rápida en promedio. Un sistema de orquestación que asigna recursos de GPU en función de los tiempos de respuesta de almacenamiento esperados no puede tolerar retrasos inesperados de varios segundos. Aquí, el rendimiento consistente y observable importa más que el rendimiento máximo.
Más allá de la latencia, la densidad se convierte en una preocupación crucial, especialmente a hiperescala. En los centros de datos donde la principal limitación es la energía, no el coste, los vatios por petabyte se convierten en la métrica operativa. La NAND de puerta flotante, el enfoque de fabricación central de los productos Solidigm, es adecuado para este cálculo. La integración de red a través de NVMe sobre Fabrics, RDMA y eventual soporte CXL también es esencial, dados los ajustados presupuestos de latencia de los canales de inferencia activos.
«Los discos deben tener características de rendimiento confiables, más allá del rendimiento, y ser capaces de transferir la mayor cantidad de datos posible lo más rápido posible, como lo requiere la capacitación», dice Harthon. «Ahora se trata de poder hacerlo de una manera muy consistente, de una manera que sea muy visible para las personas que operan y orquestan estos sistemas».
Cómo deberían planificar los líderes de IA empresarial para el nivel contextual
Los estándares, las primitivas del software y las mejores prácticas establecidas actualmente definirán cómo funcionará la infraestructura de inferencia de IA en los próximos años. Solidigm participa en este proceso a través de organismos de normalización, colaboraciones con laboratorios asociados e investigaciones publicadas, lo cual es esencial precisamente porque la categoría aún se está formando.
«La pregunta interesante para los próximos años no es si la infraestructura de IA necesita más computación», afirma Harthorn. «Se trata de si puede usar lo que tiene de manera más efectiva. Gran parte de esa respuesta se encuentra a través de este nivel que se está construyendo hoy».
Los artículos patrocinados son contenidos producidos por una empresa que paga por la publicación o tiene una relación comercial con VentureBeat y siempre están claramente marcados. Para más información, póngase en contacto ventas@venturebeat.com.
