La IA empresarial está entrando en una nueva fase, en la que la cuestión central ya no es qué se puede construir, sino cómo aprovechar al máximo nuestra inversión en IA.
En la última sesión del AI Impact Tour de VentureBeat, Brian Gracely, director de estrategia de cartera de Red Hat, describió la realidad operativa dentro de las grandes organizaciones: expansión de la IA, aumento de los costos de inferencia y visibilidad limitada de lo que esas inversiones realmente están generando.
Es el momento del “Día 2”, cuando los pilotos dan paso a la producción y los costos, la gobernanza y la sostenibilidad se vuelven más difíciles que construir el sistema en primer lugar.
«Hemos visto clientes que dicen: ‘Tengo 50.000 licencias de Copilot. Realmente no sé qué gana la gente con eso. Pero sí sé que estoy pagando por la informática más cara del mundo, porque son GPU'», dijo Gracely. «‘¿Cómo voy a controlar eso?'»
Por qué los costos de la IA empresarial son ahora un problema a nivel de junta directiva
Durante gran parte de los últimos dos años, el costo no fue la principal preocupación para las organizaciones que evaluaban la IA generativa. La fase experimental dio a los equipos cobertura para gastar libremente, y la promesa de ganancias de productividad justificó una inversión agresiva, pero esa dinámica está cambiando a medida que las empresas ingresan a su segundo y tercer ciclo presupuestario con IA. El foco ha pasado de «¿podemos construir algo?» a «¿estamos recibiendo lo que pagamos?»
Las empresas que hicieron grandes apuestas tempranas en servicios gestionados de IA están llevando a cabo rigurosas revisiones para determinar si esas inversiones están generando un valor mensurable. El problema no es sólo que la informática GPU sea cara. El problema es que muchas organizaciones carecen de los instrumentos necesarios para conectar el gasto con los resultados, lo que hace casi imposible justificar las renovaciones o escalar de manera responsable.
El cambio estratégico del consumidor de tokens al productor de tokens
El modelo de adquisición de IA dominante de los últimos años ha sido sencillo: pagar a un proveedor por token, por puesto o por llamada API, y dejar que otra persona administre la infraestructura. Ese modelo tenía sentido como punto de partida, pero cada vez más organizaciones con suficiente experiencia para comparar alternativas lo cuestionan.
Las empresas que han pasado por un ciclo de IA están empezando a repensar ese modelo.
«En lugar de ser puramente un consumidor de tokens, ¿cómo puedo empezar a ser un generador de tokens?» Dijo Gracely. «¿Hay casos de uso y cargas de trabajo en los que tenga sentido para mí tener más? Puede significar operar GPU. Puede significar alquilar GPU. Y luego preguntar: ‘¿Esa carga de trabajo necesita el mejor modelo de última generación? ¿Hay modelos abiertos más capaces o modelos más pequeños que se ajusten?'»
La decisión no es binaria. La respuesta correcta depende de la carga de trabajo, la organización y la tolerancia al riesgo involucrada, pero las matemáticas se vuelven más complicadas a medida que crece la cantidad de modelos abiertos capaces, desde DeepSeek hasta los modelos ahora disponibles a través de los mercados de la nube. Ahora las empresas tienen realmente alternativas reales al puñado de proveedores que dominaban el panorama hace dos años.
La caída de los costos de la IA y el aumento del uso crean una paradoja para los presupuestos empresariales
Algunos líderes empresariales argumentan que fijar inversiones en infraestructura ahora podría significar pagar de más en el largo plazo, señalando la declaración del director ejecutivo de Anthropic, Dario Amodei, de que los costos de inferencia de IA están disminuyendo aproximadamente un 60% por año.
El surgimiento de modelos de código abierto como DeepSeek y otros ha ampliado significativamente las opciones estratégicas disponibles para las empresas que están dispuestas a invertir en la infraestructura subyacente en los últimos tres años.
Pero si bien los costos por token están cayendo, el uso se está acelerando a un ritmo que compensa con creces las ganancias de eficiencia. Es una versión de la paradoja de Jevons, el principio económico de que las mejoras en la eficiencia de los recursos tienden a aumentar el consumo total en lugar de reducirlo, ya que un costo más bajo permite una adopción más amplia.
Para los planificadores de presupuestos empresariales, esto significa que la disminución de los costos unitarios no se traduce en una disminución de las facturas totales. Una organización que triplica su uso de IA mientras los costos se reducen a la mitad termina gastando más que antes. La consideración pasa a ser qué cargas de trabajo realmente requieren los modelos más capaces y más caros, y cuáles pueden manejarse perfectamente con alternativas más pequeñas y más baratas.
El argumento comercial para invertir en flexibilidad de infraestructura de IA
La receta no es frenar la inversión en IA, sino construir teniendo en cuenta la flexibilidad. Las organizaciones que ganarán no son necesariamente las que se mueven más rápido o gastan más; ellos son los que construyen infraestructura y modelos operativos capaces de absorber el próximo desarrollo inesperado.
«Cuanto más pueda crear algunas abstracciones y darse cierta flexibilidad, más podrá experimentar sin aumentar los costos, pero también sin poner en peligro su negocio. Esos son tan importantes como preguntarse si está haciendo todas las mejores prácticas en este momento», explicó Gracely.
Pero a pesar de lo arraigados que se han vuelto los debates sobre la IA en los ciclos de planificación empresarial, la experiencia práctica que tienen la mayoría de las organizaciones todavía se mide en años, no en décadas.
«Parece como si hubiéramos estado haciendo esto desde siempre. Hemos estado haciendo esto durante tres años», añadió Gracely. «Es temprano y se está moviendo muy rápido. No sabes lo que vendrá después. Pero las características de lo que vendrá después… deberías tener una idea de cómo se verá».
Para los líderes empresariales que aún están calibrando sus estrategias de inversión en IA, esa puede ser la conclusión más práctica: el objetivo no es optimizar la estructura de costos actual, sino desarrollar la flexibilidad organizacional y técnica para adaptarse cuando, y no si, vuelve a cambiar.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
