Los equipos de IA empresarial se enfrentan a un dilema: los mejores modelos actuales podrían no serlo dentro de un año. La respuesta de MassMutual es dejar de hacer apuestas a largo plazo y construir infraestructura que pueda intercambiar modelos a medida que cambia el mercado.
«El mundo de la IA hoy en día es extremadamente dinámico», dijo Sears Merritt, CIO de MassMutual, explicado en un nuevo podcast de VB Beyond the Pilot. «Queríamos asegurarnos de que estábamos en condiciones de aprovechar esa ola de dinamismo».
La estrategia parece estar dando grandes frutos. MassMutual ha medido un aumento de aproximadamente el 30 % en la productividad de los desarrolladores, mientras que los flujos de trabajo de los centros de contacto impulsados por IA han reducido los tiempos de resolución de 10 minutos a uno y han reducido los costos de dólares a centavos.
Pero la lección más amplia para los líderes de TI puede ser menos sobre los resultados y más sobre cómo la empresa está construyendo cuidadosamente su infraestructura de IA y manteniendo a los usuarios en el centro.
Mantener la opcionalidad para las posibilidades del mañana
MassMutual trabaja con proveedores de vanguardia, pero mantiene esas relaciones al día. «Esas relaciones están limitadas para que mantengamos la opcionalidad de las mejores herramientas a medida que las cosas maduran en este espacio y, en algún momento, se estabilizan y estabilizan», dijo Merritt.
Esa filosofía se extiende a los modelos de código abierto. Merritt dice que su equipo está “al 100%” analizando herramientas de código abierto y considera que la tecnología desempeña un papel importante en la forma en que MassMutual (y empresas similares) utilizan la IA.
«Ciertamente vamos a necesitar modelos de vanguardia y capacidades de vanguardia para hacer lo que hoy es imposible y mañana será posible», afirmó.
Medir los resultados desde el principio
Los esfuerzos de MassMutual en materia de IA se dividen en dos grandes categorías.
El primero se centra en la habilitación: poner en manos de todos los empleados herramientas que mejoren la productividad, como Copilot y asistentes virtuales. El segundo involucra lo que Merritt describe como iniciativas de “profundización y enfoque”, donde los equipos se enfocan en un flujo de trabajo o proceso comercial específico que tendrá un fuerte impacto en los asesores, asegurados o empleados.
En lugar de centrarse en métricas de adopción, estos proyectos comienzan con criterios de éxito predefinidos. «Todo lo que hacemos se mide», dijo Merritt. «Siempre hay una métrica de éxito que definimos por adelantado para determinar si vamos a ampliar o no algunas de estas cosas».
La compañía también está fomentando deliberadamente la experimentación, brindando a los empleados acceso a una gama de los mejores modelos, «flujos de trabajo que consumen tokens» y otras capacidades posibles para que puedan sopesar los beneficios en relación con los modelos de lenguajes grandes (LLM) «más simples y de menor costo».
Al mismo tiempo, MassMutual recopila análisis cada vez más detallados sobre patrones de uso, flujos de trabajo de desarrolladores, rendimiento de modelos y costos. El objetivo es reducir el gasto y al mismo tiempo desarrollar inteligencia operativa para eventualmente encaminar las cargas de trabajo al modelo correcto en función del costo, la calidad de la respuesta y la experiencia del usuario.
Con el tiempo, esos conocimientos impulsarán las decisiones de optimización en torno al enrutamiento de modelos, la selección rápida, los tiempos de respuesta y el diseño de infraestructura.
«Estamos obteniendo acceso a análisis que nos permiten, de manera muy granular, observar los patrones de uso, los flujos de trabajo de los desarrolladores y comenzar a entender quién usa qué, cuándo y para qué tipos de tareas», dijo Merritt.
Por qué MassMutual a veces elige el modelo más caro
Otro aspecto interesante del enfoque de MassMutual es cómo evalúa la calidad de la IA. En lugar de centrarse exclusivamente en puntos de referencia o costos simbólicos, la empresa utiliza lo que Merritt llama un marco de «puntuación de confianza».
El proceso combina los comentarios de los usuarios con métricas operativas para comprender cómo los empleados perciben las respuestas generadas por la IA y si esas respuestas realmente mejoran los resultados.
La reconstrucción del centro de contacto puso a prueba ese marco. Durante el desarrollo, los empleados tuvieron acceso a dos LLM diferentes. Uno generó respuestas casi en tiempo real, pero la calidad era más ruidosa. La otra opción más cara tardó varios segundos más en responder, pero siempre entregó respuestas de mayor calidad.
La sabiduría convencional y la velocidad de los negocios podrían sugerir que los usuarios preferirían lo primero; pero eligieron abrumadoramente la calidad. El equipo de Merritt preguntó a los usuarios sobre la calidad de la respuesta, su modelo preferido y sus opiniones generales sobre la experiencia.
La mayoría de las veces, los usuarios decían: «Queremos el más caro. Estamos dispuestos a esperar, pero la diferencia de calidad es tan grande que los dos segundos extra realmente valen la pena para nosotros».
Esa retroalimentación determinó en última instancia qué modelo implementó MassMutual.
«Consideramos esa experiencia en la toma de decisiones, y eso nos llevó a decir, en términos relativos, que los costos eran irrelevantes, por lo que usaremos el modelo más complejo», dijo Merritt.
Escuche el podcast completo para saber más sobre:
-
Por qué Mythos “cambió por completo” el panorama de la ciberseguridad: no el tipo de amenazas, sino el ritmo al que aparecen;
-
Cómo un equipo de ingenieros de IA modernizó la computadora central de MassMutual en 7 días (un proceso que anteriormente habría tomado 3 meses);
-
Por qué MassMutual evitó específicamente el tokenmaxxing para controlar el uso y el gasto de la IA y ha ido «ilimitado» para protegerse de los aumentos de costos.
-
Cómo un “tipo de entorno de múltiples arneses” respaldará la IA agente.
También puedes escuchar y suscribirte Más allá del piloto en Spotify, Manzana o dondequiera que obtengas tus podcasts.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
