Los programas de IA empresarial rara vez fracasan debido a malas ideas. Lo más frecuente es que se queden atrapados en un modo piloto no gobernado y nunca lleguen a producirse. En un evento reciente de VentureBeat, los líderes tecnológicos de MassMutual y Mass General Brigham explicaron cómo evitaron esa trampa y cómo se ven los resultados cuando la disciplina reemplaza a la dispersión.
En MassMutual, los resultados son concretos: 30% de aumento en la productividad de los desarrolladores, tiempos de resolución de la mesa de ayuda de TI reducidos de 11 minutos a uno, y llamadas de servicio al cliente reducidas de 15 minutos a solo una o dos.
«Siempre empezamos con la pregunta: ¿por qué nos preocupamos por este problema?» dijo en el evento Sears Merritt, jefe de experiencia y tecnología empresarial de MassMutual. «Si solucionamos el problema, ¿cómo sabremos que lo hemos solucionado? ¿Y cuánto valor se asocia con hacerlo?».
Definir métricas y establecer fuertes circuitos de retroalimentación
MassMutual, una empresa de 175 años que presta servicios a millones de propietarios de pólizas y clientes, ha impulsado la IA en producción en todo el negocio: atención al cliente, TI, adquisición de clientes, suscripción, servicios, reclamaciones y otras áreas.
Merritt dijo que su equipo sigue el método científico, comenzando con una hipótesis y probando si tiene un resultado que impulse tangiblemente el negocio hacia adelante. Algunas ideas son geniales, pero pueden resultar “intratables en el negocio” debido a factores como la falta de datos o acceso, o restricciones regulatorias.
«No avanzaremos con una idea hasta que tengamos muy claro cómo vamos a medir y cómo vamos a definir el éxito».
En última instancia, depende de diferentes departamentos y líderes definir qué significa calidad: elegir una métrica y definir el nivel mínimo de calidad antes de poner una herramienta en manos de equipos y socios.
Ese punto de partida crea un rápido ciclo de retroalimentación. «Lo que encontramos que nos frena es cuando no hay una claridad compartida sobre qué resultado estamos tratando de lograr», lo que puede generar confusión y reajustes constantes, dijo Merritt. «No pasamos a la producción hasta que haya un socio comercial que diga: ‘Sí, eso funciona'».
Su equipo es estratégico a la hora de evaluar herramientas emergentes y «extremadamente riguroso» a la hora de probar y medir lo que significa «bueno». Por ejemplo, realizan puntuaciones de confianza para reducir las tasas de alucinaciones, establecen umbrales y criterios de evaluación y monitorean la desviación de características y resultados.
Merritt también opera con una política de no compromiso, lo que significa que la empresa no se limita a utilizar un modelo en particular. Tiene lo que él llama un entorno tecnológico “increíblemente heterogéneo” que combina los mejores modelos con mainframes que se ejecutan en COBOL. Esa flexibilidad no es accidental. Su equipo creó capas de servicios, microservicios y API comunes que se ubican entre la capa de IA y todo lo que hay debajo, de modo que cuando aparece un modelo mejor, intercambiarlo no significa comenzar de nuevo.
Porque, explicó Merritt, “los mejores de hoy podrían ser los peores de mañana, y no queremos quedarnos atrás”.
Deshierbar en lugar de dejar florecer mil flores
El general de masas Brigham (MGB), por su parte, adoptó un enfoque más bien de rociar y orar… al principio.
Alrededor de 15.000 investigadores del sistema de salud sin fines de lucro han estado utilizando IA, ML y aprendizaje profundo durante los últimos 10 a 15 años, dijo el CTO Nallan “Sri” Sriraman en el mismo evento de VB.
Pero el año pasado tomó una decisión audaz: su equipo cerró una serie de pilotos de IA no gobernados. Inicialmente, “seguimos el florecimiento de mil flores [methodology]pero no teníamos mil flores, probablemente teníamos unas pocas decenas de flores tratando de florecer”, dijo.
Al igual que el equipo de Merritt en MassMutual, MGB adoptó una visión más holística y examinó por qué estaban desarrollando ciertas herramientas para departamentos de flujos de trabajo específicos. Se preguntaron qué capacidades querían y necesitaban y qué inversión requerían.
El equipo de Sriraman también habló con sus principales proveedores de plataformas (Epic, Workday, ServiceNow, Microsoft) sobre sus hojas de ruta. Este fue un “momento crucial”, señaló, cuando se dieron cuenta de que estaban creando herramientas internas que los proveedores ya estaban proporcionando (o planeaban implementar).
Como dijo Sriraman: «¿Por qué lo estamos construyendo nosotros mismos? Ya estamos en la plataforma. Estará en el flujo de trabajo. Aprovéchelo».
Dicho esto, el mercado aún es incipiente, lo que puede dificultar la toma de decisiones. “La analogía que daré es cuando le pides a seis hombres ciegos que toquen un elefante y digan: ¿cómo es este elefante?” dijo Sriraman. «Obtendrás seis respuestas diferentes».
No hay nada malo en eso, señaló; es sólo que todo el mundo está descubriendo y experimentando a medida que el paisaje sigue cambiando.
En lugar de un entorno del salvaje Oeste, el equipo de Sriraman distribuye Microsoft Copilot a los usuarios de toda la empresa y utiliza una «pequeña zona de aterrizaje» donde pueden probar de forma segura productos más sofisticados y controlar el uso de tokens.
También comenzaron a “incorporar conscientemente defensores de la IA” en todos los grupos empresariales. “Esto es una especie de reverso de dejar florecer mil flores, plantarlas y nutrirlas con cuidado”, dijo Sriraman.
La observabilidad es otra consideración importante; describe paneles de control en tiempo real que gestionan la deriva y la seguridad del modelo y permiten a los equipos de TI gobernar la IA «de manera un poco más pragmática». El monitoreo del estado es fundamental en los sistemas de IA, señaló, y su equipo ha establecido principios y políticas en torno al uso de la IA, sin mencionar los privilegios mínimos de acceso.
En entornos clínicos, las barreras de seguridad son absolutas: los sistemas de inteligencia artificial nunca toman la decisión final. «Siempre habrá un médico o un asistente médico involucrado para tomar la decisión», dijo Sriraman. Citó la generación de informes de radiología como un área donde la IA se usa mucho, pero donde un radiólogo siempre aprueba.
Sriraman fue claro: «No harás esto: no mostrar PHI [protected health information] en Perplejidad. Tan simple como eso, ¿verdad?»
Y, lo que es más importante, deben existir mecanismos de seguridad. «Necesitamos un gran botón rojo, mátenlo», enfatizó Sriraman. «No ponemos nada en el entorno operativo sin eso».
En última instancia, si bien la IA agente es una tecnología transformadora, el enfoque empresarial no tiene por qué ser dramáticamente diferente. «No hay nada nuevo en esto», dijo Sriraman. “Puedes reemplazar la palabra BPM [business process management] de los años 90 y 2000 con IA. Se aplican los mismos conceptos”.
Los programas de IA empresarial rara vez fracasan debido a malas ideas. Lo más frecuente es que se queden atrapados en un modo piloto no gobernado y nunca lleguen a producirse. En un evento reciente de VentureBeat, los líderes tecnológicos de MassMutual y Mass General Brigham explicaron cómo evitaron esa trampa y cómo se ven los resultados cuando la disciplina reemplaza a la dispersión.
En MassMutual, los resultados son concretos: 30% de aumento en la productividad de los desarrolladores, tiempos de resolución de la mesa de ayuda de TI reducidos de 11 minutos a uno, y llamadas de servicio al cliente reducidas de 15 minutos a solo una o dos.
«Siempre empezamos con la pregunta: ¿por qué nos preocupamos por este problema?» dijo en el evento Sears Merritt, jefe de experiencia y tecnología empresarial de MassMutual. «Si solucionamos el problema, ¿cómo sabremos que lo hemos solucionado? ¿Y cuánto valor se asocia con hacerlo?».
Definir métricas y establecer fuertes circuitos de retroalimentación
MassMutual, una empresa de 175 años que presta servicios a millones de propietarios de pólizas y clientes, ha impulsado la IA en producción en todo el negocio: atención al cliente, TI, adquisición de clientes, suscripción, servicios, reclamaciones y otras áreas.
Merritt dijo que su equipo sigue el método científico, comenzando con una hipótesis y probando si tiene un resultado que impulse tangiblemente el negocio hacia adelante. Algunas ideas son geniales, pero pueden resultar “intratables en el negocio” debido a factores como la falta de datos o acceso, o restricciones regulatorias.
«No avanzaremos con una idea hasta que tengamos muy claro cómo vamos a medir y cómo vamos a definir el éxito».
En última instancia, depende de diferentes departamentos y líderes definir qué significa calidad: elegir una métrica y definir el nivel mínimo de calidad antes de poner una herramienta en manos de equipos y socios.
Ese punto de partida crea un rápido ciclo de retroalimentación. «Lo que encontramos que nos frena es cuando no hay una claridad compartida sobre qué resultado estamos tratando de lograr», lo que puede generar confusión y reajustes constantes, dijo Merritt. «No pasamos a la producción hasta que haya un socio comercial que diga: ‘Sí, eso funciona'».
Su equipo es estratégico a la hora de evaluar herramientas emergentes y «extremadamente riguroso» a la hora de probar y medir lo que significa «bueno». Por ejemplo, realizan puntuaciones de confianza para reducir las tasas de alucinaciones, establecen umbrales y criterios de evaluación y monitorean la desviación de características y resultados.
Merritt también opera con una política de no compromiso, lo que significa que la empresa no se limita a utilizar un modelo en particular. Tiene lo que él llama un entorno tecnológico “increíblemente heterogéneo” que combina los mejores modelos con mainframes que se ejecutan en COBOL. Esa flexibilidad no es accidental. Su equipo creó capas de servicios, microservicios y API comunes que se ubican entre la capa de IA y todo lo que hay debajo, de modo que cuando aparece un modelo mejor, intercambiarlo no significa comenzar de nuevo.
Porque, explicó Merritt, “los mejores de hoy podrían ser los peores de mañana, y no queremos quedarnos atrás”.
Deshierbar en lugar de dejar florecer mil flores
El general de masas Brigham (MGB), por su parte, adoptó un enfoque más bien de rociar y orar… al principio.
Alrededor de 15.000 investigadores del sistema de salud sin fines de lucro han estado utilizando IA, ML y aprendizaje profundo durante los últimos 10 a 15 años, dijo el CTO Nallan “Sri” Sriraman en el mismo evento de VB.
Pero el año pasado tomó una decisión audaz: su equipo cerró una serie de pilotos de IA no gobernados. Inicialmente, “seguimos el florecimiento de mil flores [methodology]pero no teníamos mil flores, probablemente teníamos unas pocas decenas de flores tratando de florecer”, dijo.
Al igual que el equipo de Merritt en MassMutual, MGB adoptó una visión más holística y examinó por qué estaban desarrollando ciertas herramientas para departamentos de flujos de trabajo específicos. Se preguntaron qué capacidades querían y necesitaban y qué inversión requerían.
El equipo de Sriraman también habló con sus principales proveedores de plataformas (Epic, Workday, ServiceNow, Microsoft) sobre sus hojas de ruta. Este fue un “momento crucial”, señaló, cuando se dieron cuenta de que estaban creando herramientas internas que los proveedores ya estaban proporcionando (o planeaban implementar).
Como dijo Sriraman: «¿Por qué lo estamos construyendo nosotros mismos? Ya estamos en la plataforma. Estará en el flujo de trabajo. Aprovéchelo».
Dicho esto, el mercado aún es incipiente, lo que puede dificultar la toma de decisiones. “La analogía que daré es cuando le pides a seis hombres ciegos que toquen un elefante y digan: ¿cómo es este elefante?” dijo Sriraman. «Obtendrás seis respuestas diferentes».
No hay nada malo en eso, señaló; es sólo que todo el mundo está descubriendo y experimentando a medida que el paisaje sigue cambiando.
En lugar de un entorno del salvaje Oeste, el equipo de Sriraman distribuye Microsoft Copilot a los usuarios de toda la empresa y utiliza una «pequeña zona de aterrizaje» donde pueden probar de forma segura productos más sofisticados y controlar el uso de tokens.
También comenzaron a “incorporar conscientemente defensores de la IA” en todos los grupos empresariales. “Esto es una especie de reverso de dejar florecer mil flores, plantarlas y nutrirlas con cuidado”, dijo Sriraman.
La observabilidad es otra consideración importante; describe paneles de control en tiempo real que gestionan la deriva y la seguridad del modelo y permiten a los equipos de TI gobernar la IA «de manera un poco más pragmática». El monitoreo del estado es fundamental en los sistemas de IA, señaló, y su equipo ha establecido principios y políticas en torno al uso de la IA, sin mencionar los privilegios mínimos de acceso.
En entornos clínicos, las barreras de seguridad son absolutas: los sistemas de inteligencia artificial nunca toman la decisión final. «Siempre habrá un médico o un asistente médico involucrado para tomar la decisión», dijo Sriraman. Citó la generación de informes de radiología como un área donde la IA se usa mucho, pero donde un radiólogo siempre aprueba.
Sriraman fue claro: «No harás esto: no mostrar PHI [protected health information] en Perplejidad. Tan simple como eso, ¿verdad?»
Y, lo que es más importante, deben existir mecanismos de seguridad. «Necesitamos un gran botón rojo, mátenlo», enfatizó Sriraman. «No ponemos nada en el entorno operativo sin eso».
En última instancia, si bien la IA agente es una tecnología transformadora, el enfoque empresarial no tiene por qué ser dramáticamente diferente. «No hay nada nuevo en esto», dijo Sriraman. “Puedes reemplazar la palabra BPM [business process management] de los años 90 y 2000 con IA. Se aplican los mismos conceptos”.
Los programas de IA empresarial rara vez fracasan debido a malas ideas. Lo más frecuente es que se queden atrapados en un modo piloto no gobernado y nunca lleguen a producirse. En un evento reciente de VentureBeat, los líderes tecnológicos de MassMutual y Mass General Brigham explicaron cómo evitaron esa trampa y cómo se ven los resultados cuando la disciplina reemplaza a la dispersión.
En MassMutual, los resultados son concretos: 30% de aumento en la productividad de los desarrolladores, tiempos de resolución de la mesa de ayuda de TI reducidos de 11 minutos a uno, y llamadas de servicio al cliente reducidas de 15 minutos a solo una o dos.
«Siempre empezamos con la pregunta: ¿por qué nos preocupamos por este problema?» dijo en el evento Sears Merritt, jefe de experiencia y tecnología empresarial de MassMutual. «Si solucionamos el problema, ¿cómo sabremos que lo hemos solucionado? ¿Y cuánto valor se asocia con hacerlo?».
Definir métricas y establecer fuertes circuitos de retroalimentación
MassMutual, una empresa de 175 años que presta servicios a millones de propietarios de pólizas y clientes, ha impulsado la IA en producción en todo el negocio: atención al cliente, TI, adquisición de clientes, suscripción, servicios, reclamaciones y otras áreas.
Merritt dijo que su equipo sigue el método científico, comenzando con una hipótesis y probando si tiene un resultado que impulse tangiblemente el negocio hacia adelante. Algunas ideas son geniales, pero pueden resultar “intratables en el negocio” debido a factores como la falta de datos o acceso, o restricciones regulatorias.
«No avanzaremos con una idea hasta que tengamos muy claro cómo vamos a medir y cómo vamos a definir el éxito».
En última instancia, depende de diferentes departamentos y líderes definir qué significa calidad: elegir una métrica y definir el nivel mínimo de calidad antes de poner una herramienta en manos de equipos y socios.
Ese punto de partida crea un rápido ciclo de retroalimentación. «Lo que encontramos que nos frena es cuando no hay una claridad compartida sobre qué resultado estamos tratando de lograr», lo que puede generar confusión y reajustes constantes, dijo Merritt. «No pasamos a la producción hasta que haya un socio comercial que diga: ‘Sí, eso funciona'».
Su equipo es estratégico a la hora de evaluar herramientas emergentes y «extremadamente riguroso» a la hora de probar y medir lo que significa «bueno». Por ejemplo, realizan puntuaciones de confianza para reducir las tasas de alucinaciones, establecen umbrales y criterios de evaluación y monitorean la desviación de características y resultados.
Merritt también opera con una política de no compromiso, lo que significa que la empresa no se limita a utilizar un modelo en particular. Tiene lo que él llama un entorno tecnológico “increíblemente heterogéneo” que combina los mejores modelos con mainframes que se ejecutan en COBOL. Esa flexibilidad no es accidental. Su equipo creó capas de servicios, microservicios y API comunes que se ubican entre la capa de IA y todo lo que hay debajo, de modo que cuando aparece un modelo mejor, intercambiarlo no significa comenzar de nuevo.
Porque, explicó Merritt, “los mejores de hoy podrían ser los peores de mañana, y no queremos quedarnos atrás”.
Deshierbar en lugar de dejar florecer mil flores
El general de masas Brigham (MGB), por su parte, adoptó un enfoque más bien de rociar y orar… al principio.
Alrededor de 15.000 investigadores del sistema de salud sin fines de lucro han estado utilizando IA, ML y aprendizaje profundo durante los últimos 10 a 15 años, dijo el CTO Nallan “Sri” Sriraman en el mismo evento de VB.
Pero el año pasado tomó una decisión audaz: su equipo cerró una serie de pilotos de IA no gobernados. Inicialmente, “seguimos el florecimiento de mil flores [methodology]pero no teníamos mil flores, probablemente teníamos unas pocas decenas de flores tratando de florecer”, dijo.
Al igual que el equipo de Merritt en MassMutual, MGB adoptó una visión más holística y examinó por qué estaban desarrollando ciertas herramientas para departamentos de flujos de trabajo específicos. Se preguntaron qué capacidades querían y necesitaban y qué inversión requerían.
El equipo de Sriraman también habló con sus principales proveedores de plataformas (Epic, Workday, ServiceNow, Microsoft) sobre sus hojas de ruta. Este fue un “momento crucial”, señaló, cuando se dieron cuenta de que estaban creando herramientas internas que los proveedores ya estaban proporcionando (o planeaban implementar).
Como dijo Sriraman: «¿Por qué lo estamos construyendo nosotros mismos? Ya estamos en la plataforma. Estará en el flujo de trabajo. Aprovéchelo».
Dicho esto, el mercado aún es incipiente, lo que puede dificultar la toma de decisiones. “La analogía que daré es cuando le pides a seis hombres ciegos que toquen un elefante y digan: ¿cómo es este elefante?” dijo Sriraman. «Obtendrás seis respuestas diferentes».
No hay nada malo en eso, señaló; es sólo que todo el mundo está descubriendo y experimentando a medida que el paisaje sigue cambiando.
En lugar de un entorno del salvaje Oeste, el equipo de Sriraman distribuye Microsoft Copilot a los usuarios de toda la empresa y utiliza una «pequeña zona de aterrizaje» donde pueden probar de forma segura productos más sofisticados y controlar el uso de tokens.
También comenzaron a “incorporar conscientemente defensores de la IA” en todos los grupos empresariales. “Esto es una especie de reverso de dejar florecer mil flores, plantarlas y nutrirlas con cuidado”, dijo Sriraman.
La observabilidad es otra consideración importante; describe paneles de control en tiempo real que gestionan la deriva y la seguridad del modelo y permiten a los equipos de TI gobernar la IA «de manera un poco más pragmática». El monitoreo del estado es fundamental en los sistemas de IA, señaló, y su equipo ha establecido principios y políticas en torno al uso de la IA, sin mencionar los privilegios mínimos de acceso.
En entornos clínicos, las barreras de seguridad son absolutas: los sistemas de inteligencia artificial nunca toman la decisión final. «Siempre habrá un médico o un asistente médico involucrado para tomar la decisión», dijo Sriraman. Citó la generación de informes de radiología como un área donde la IA se usa mucho, pero donde un radiólogo siempre aprueba.
Sriraman fue claro: «No harás esto: no mostrar PHI [protected health information] en Perplejidad. Tan simple como eso, ¿verdad?»
Y, lo que es más importante, deben existir mecanismos de seguridad. «Necesitamos un gran botón rojo, mátenlo», enfatizó Sriraman. «No ponemos nada en el entorno operativo sin eso».
En última instancia, si bien la IA agente es una tecnología transformadora, el enfoque empresarial no tiene por qué ser dramáticamente diferente. «No hay nada nuevo en esto», dijo Sriraman. “Puedes reemplazar la palabra BPM [business process management] de los años 90 y 2000 con IA. Se aplican los mismos conceptos”.
Los programas de IA empresarial rara vez fracasan debido a malas ideas. Lo más frecuente es que se queden atrapados en un modo piloto no gobernado y nunca lleguen a producirse. En un evento reciente de VentureBeat, los líderes tecnológicos de MassMutual y Mass General Brigham explicaron cómo evitaron esa trampa y cómo se ven los resultados cuando la disciplina reemplaza a la dispersión.
En MassMutual, los resultados son concretos: 30% de aumento en la productividad de los desarrolladores, tiempos de resolución de la mesa de ayuda de TI reducidos de 11 minutos a uno, y llamadas de servicio al cliente reducidas de 15 minutos a solo una o dos.
«Siempre empezamos con la pregunta: ¿por qué nos preocupamos por este problema?» dijo en el evento Sears Merritt, jefe de experiencia y tecnología empresarial de MassMutual. «Si solucionamos el problema, ¿cómo sabremos que lo hemos solucionado? ¿Y cuánto valor se asocia con hacerlo?».
Definir métricas y establecer fuertes circuitos de retroalimentación
MassMutual, una empresa de 175 años que presta servicios a millones de propietarios de pólizas y clientes, ha impulsado la IA en producción en todo el negocio: atención al cliente, TI, adquisición de clientes, suscripción, servicios, reclamaciones y otras áreas.
Merritt dijo que su equipo sigue el método científico, comenzando con una hipótesis y probando si tiene un resultado que impulse tangiblemente el negocio hacia adelante. Algunas ideas son geniales, pero pueden resultar “intratables en el negocio” debido a factores como la falta de datos o acceso, o restricciones regulatorias.
«No avanzaremos con una idea hasta que tengamos muy claro cómo vamos a medir y cómo vamos a definir el éxito».
En última instancia, depende de diferentes departamentos y líderes definir qué significa calidad: elegir una métrica y definir el nivel mínimo de calidad antes de poner una herramienta en manos de equipos y socios.
Ese punto de partida crea un rápido ciclo de retroalimentación. «Lo que encontramos que nos frena es cuando no hay una claridad compartida sobre qué resultado estamos tratando de lograr», lo que puede generar confusión y reajustes constantes, dijo Merritt. «No pasamos a la producción hasta que haya un socio comercial que diga: ‘Sí, eso funciona'».
Su equipo es estratégico a la hora de evaluar herramientas emergentes y «extremadamente riguroso» a la hora de probar y medir lo que significa «bueno». Por ejemplo, realizan puntuaciones de confianza para reducir las tasas de alucinaciones, establecen umbrales y criterios de evaluación y monitorean la desviación de características y resultados.
Merritt también opera con una política de no compromiso, lo que significa que la empresa no se limita a utilizar un modelo en particular. Tiene lo que él llama un entorno tecnológico “increíblemente heterogéneo” que combina los mejores modelos con mainframes que se ejecutan en COBOL. Esa flexibilidad no es accidental. Su equipo creó capas de servicios, microservicios y API comunes que se ubican entre la capa de IA y todo lo que hay debajo, de modo que cuando aparece un modelo mejor, intercambiarlo no significa comenzar de nuevo.
Porque, explicó Merritt, “los mejores de hoy podrían ser los peores de mañana, y no queremos quedarnos atrás”.
Deshierbar en lugar de dejar florecer mil flores
El general de masas Brigham (MGB), por su parte, adoptó un enfoque más bien de rociar y orar… al principio.
Alrededor de 15.000 investigadores del sistema de salud sin fines de lucro han estado utilizando IA, ML y aprendizaje profundo durante los últimos 10 a 15 años, dijo el CTO Nallan “Sri” Sriraman en el mismo evento de VB.
Pero el año pasado tomó una decisión audaz: su equipo cerró una serie de pilotos de IA no gobernados. Inicialmente, “seguimos el florecimiento de mil flores [methodology]pero no teníamos mil flores, probablemente teníamos unas pocas decenas de flores tratando de florecer”, dijo.
Al igual que el equipo de Merritt en MassMutual, MGB adoptó una visión más holística y examinó por qué estaban desarrollando ciertas herramientas para departamentos de flujos de trabajo específicos. Se preguntaron qué capacidades querían y necesitaban y qué inversión requerían.
El equipo de Sriraman también habló con sus principales proveedores de plataformas (Epic, Workday, ServiceNow, Microsoft) sobre sus hojas de ruta. Este fue un “momento crucial”, señaló, cuando se dieron cuenta de que estaban creando herramientas internas que los proveedores ya estaban proporcionando (o planeaban implementar).
Como dijo Sriraman: «¿Por qué lo estamos construyendo nosotros mismos? Ya estamos en la plataforma. Estará en el flujo de trabajo. Aprovéchelo».
Dicho esto, el mercado aún es incipiente, lo que puede dificultar la toma de decisiones. “La analogía que daré es cuando le pides a seis hombres ciegos que toquen un elefante y digan: ¿cómo es este elefante?” dijo Sriraman. «Obtendrás seis respuestas diferentes».
No hay nada malo en eso, señaló; es sólo que todo el mundo está descubriendo y experimentando a medida que el paisaje sigue cambiando.
En lugar de un entorno del salvaje Oeste, el equipo de Sriraman distribuye Microsoft Copilot a los usuarios de toda la empresa y utiliza una «pequeña zona de aterrizaje» donde pueden probar de forma segura productos más sofisticados y controlar el uso de tokens.
También comenzaron a “incorporar conscientemente defensores de la IA” en todos los grupos empresariales. “Esto es una especie de reverso de dejar florecer mil flores, plantarlas y nutrirlas con cuidado”, dijo Sriraman.
La observabilidad es otra consideración importante; describe paneles de control en tiempo real que gestionan la deriva y la seguridad del modelo y permiten a los equipos de TI gobernar la IA «de manera un poco más pragmática». El monitoreo del estado es fundamental en los sistemas de IA, señaló, y su equipo ha establecido principios y políticas en torno al uso de la IA, sin mencionar los privilegios mínimos de acceso.
En entornos clínicos, las barreras de seguridad son absolutas: los sistemas de inteligencia artificial nunca toman la decisión final. «Siempre habrá un médico o un asistente médico involucrado para tomar la decisión», dijo Sriraman. Citó la generación de informes de radiología como un área donde la IA se usa mucho, pero donde un radiólogo siempre aprueba.
Sriraman fue claro: «No harás esto: no mostrar PHI [protected health information] en Perplejidad. Tan simple como eso, ¿verdad?»
Y, lo que es más importante, deben existir mecanismos de seguridad. «Necesitamos un gran botón rojo, mátenlo», enfatizó Sriraman. «No ponemos nada en el entorno operativo sin eso».
En última instancia, si bien la IA agente es una tecnología transformadora, el enfoque empresarial no tiene por qué ser dramáticamente diferente. «No hay nada nuevo en esto», dijo Sriraman. “Puedes reemplazar la palabra BPM [business process management] de los años 90 y 2000 con IA. Se aplican los mismos conceptos”.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
Los programas de IA empresarial rara vez fracasan debido a malas ideas. Lo más frecuente es que se queden atrapados en un modo piloto no gobernado y nunca lleguen a producirse. En un evento reciente de VentureBeat, los líderes tecnológicos de MassMutual y Mass General Brigham explicaron cómo evitaron esa trampa y cómo se ven los resultados cuando la disciplina reemplaza a la dispersión.
En MassMutual, los resultados son concretos: 30% de aumento en la productividad de los desarrolladores, tiempos de resolución de la mesa de ayuda de TI reducidos de 11 minutos a uno, y llamadas de servicio al cliente reducidas de 15 minutos a solo una o dos.
«Siempre empezamos con la pregunta: ¿por qué nos preocupamos por este problema?» dijo en el evento Sears Merritt, jefe de experiencia y tecnología empresarial de MassMutual. «Si solucionamos el problema, ¿cómo sabremos que lo hemos solucionado? ¿Y cuánto valor se asocia con hacerlo?».
Definir métricas y establecer fuertes circuitos de retroalimentación
MassMutual, una empresa de 175 años que presta servicios a millones de propietarios de pólizas y clientes, ha impulsado la IA en producción en todo el negocio: atención al cliente, TI, adquisición de clientes, suscripción, servicios, reclamaciones y otras áreas.
Merritt dijo que su equipo sigue el método científico, comenzando con una hipótesis y probando si tiene un resultado que impulse tangiblemente el negocio hacia adelante. Algunas ideas son geniales, pero pueden resultar “intratables en el negocio” debido a factores como la falta de datos o acceso, o restricciones regulatorias.
«No avanzaremos con una idea hasta que tengamos muy claro cómo vamos a medir y cómo vamos a definir el éxito».
En última instancia, depende de diferentes departamentos y líderes definir qué significa calidad: elegir una métrica y definir el nivel mínimo de calidad antes de poner una herramienta en manos de equipos y socios.
Ese punto de partida crea un rápido ciclo de retroalimentación. «Lo que encontramos que nos frena es cuando no hay una claridad compartida sobre qué resultado estamos tratando de lograr», lo que puede generar confusión y reajustes constantes, dijo Merritt. «No pasamos a la producción hasta que haya un socio comercial que diga: ‘Sí, eso funciona'».
Su equipo es estratégico a la hora de evaluar herramientas emergentes y «extremadamente riguroso» a la hora de probar y medir lo que significa «bueno». Por ejemplo, realizan puntuaciones de confianza para reducir las tasas de alucinaciones, establecen umbrales y criterios de evaluación y monitorean la desviación de características y resultados.
Merritt también opera con una política de no compromiso, lo que significa que la empresa no se limita a utilizar un modelo en particular. Tiene lo que él llama un entorno tecnológico “increíblemente heterogéneo” que combina los mejores modelos con mainframes que se ejecutan en COBOL. Esa flexibilidad no es accidental. Su equipo creó capas de servicios, microservicios y API comunes que se ubican entre la capa de IA y todo lo que hay debajo, de modo que cuando aparece un modelo mejor, intercambiarlo no significa comenzar de nuevo.
Porque, explicó Merritt, “los mejores de hoy podrían ser los peores de mañana, y no queremos quedarnos atrás”.
Deshierbar en lugar de dejar florecer mil flores
El general de masas Brigham (MGB), por su parte, adoptó un enfoque más bien de rociar y orar… al principio.
Alrededor de 15.000 investigadores del sistema de salud sin fines de lucro han estado utilizando IA, ML y aprendizaje profundo durante los últimos 10 a 15 años, dijo el CTO Nallan “Sri” Sriraman en el mismo evento de VB.
Pero el año pasado tomó una decisión audaz: su equipo cerró una serie de pilotos de IA no gobernados. Inicialmente, “seguimos el florecimiento de mil flores [methodology]pero no teníamos mil flores, probablemente teníamos unas pocas decenas de flores tratando de florecer”, dijo.
Al igual que el equipo de Merritt en MassMutual, MGB adoptó una visión más holística y examinó por qué estaban desarrollando ciertas herramientas para departamentos de flujos de trabajo específicos. Se preguntaron qué capacidades querían y necesitaban y qué inversión requerían.
El equipo de Sriraman también habló con sus principales proveedores de plataformas (Epic, Workday, ServiceNow, Microsoft) sobre sus hojas de ruta. Este fue un “momento crucial”, señaló, cuando se dieron cuenta de que estaban creando herramientas internas que los proveedores ya estaban proporcionando (o planeaban implementar).
Como dijo Sriraman: «¿Por qué lo estamos construyendo nosotros mismos? Ya estamos en la plataforma. Estará en el flujo de trabajo. Aprovéchelo».
Dicho esto, el mercado aún es incipiente, lo que puede dificultar la toma de decisiones. “La analogía que daré es cuando le pides a seis hombres ciegos que toquen un elefante y digan: ¿cómo es este elefante?” dijo Sriraman. «Obtendrás seis respuestas diferentes».
No hay nada malo en eso, señaló; es sólo que todo el mundo está descubriendo y experimentando a medida que el paisaje sigue cambiando.
En lugar de un entorno del salvaje Oeste, el equipo de Sriraman distribuye Microsoft Copilot a los usuarios de toda la empresa y utiliza una «pequeña zona de aterrizaje» donde pueden probar de forma segura productos más sofisticados y controlar el uso de tokens.
También comenzaron a “incorporar conscientemente defensores de la IA” en todos los grupos empresariales. “Esto es una especie de reverso de dejar florecer mil flores, plantarlas y nutrirlas con cuidado”, dijo Sriraman.
La observabilidad es otra consideración importante; describe paneles de control en tiempo real que gestionan la deriva y la seguridad del modelo y permiten a los equipos de TI gobernar la IA «de manera un poco más pragmática». El monitoreo del estado es fundamental en los sistemas de IA, señaló, y su equipo ha establecido principios y políticas en torno al uso de la IA, sin mencionar los privilegios mínimos de acceso.
En entornos clínicos, las barreras de seguridad son absolutas: los sistemas de inteligencia artificial nunca toman la decisión final. «Siempre habrá un médico o un asistente médico involucrado para tomar la decisión», dijo Sriraman. Citó la generación de informes de radiología como un área donde la IA se usa mucho, pero donde un radiólogo siempre aprueba.
Sriraman fue claro: «No harás esto: no mostrar PHI [protected health information] en Perplejidad. Tan simple como eso, ¿verdad?»
Y, lo que es más importante, deben existir mecanismos de seguridad. «Necesitamos un gran botón rojo, mátenlo», enfatizó Sriraman. «No ponemos nada en el entorno operativo sin eso».
En última instancia, si bien la IA agente es una tecnología transformadora, el enfoque empresarial no tiene por qué ser dramáticamente diferente. «No hay nada nuevo en esto», dijo Sriraman. “Puedes reemplazar la palabra BPM [business process management] de los años 90 y 2000 con IA. Se aplican los mismos conceptos”.
Los programas de IA empresarial rara vez fracasan debido a malas ideas. Lo más frecuente es que se queden atrapados en un modo piloto no gobernado y nunca lleguen a producirse. En un evento reciente de VentureBeat, los líderes tecnológicos de MassMutual y Mass General Brigham explicaron cómo evitaron esa trampa y cómo se ven los resultados cuando la disciplina reemplaza a la dispersión.
En MassMutual, los resultados son concretos: 30% de aumento en la productividad de los desarrolladores, tiempos de resolución de la mesa de ayuda de TI reducidos de 11 minutos a uno, y llamadas de servicio al cliente reducidas de 15 minutos a solo una o dos.
«Siempre empezamos con la pregunta: ¿por qué nos preocupamos por este problema?» dijo en el evento Sears Merritt, jefe de experiencia y tecnología empresarial de MassMutual. «Si solucionamos el problema, ¿cómo sabremos que lo hemos solucionado? ¿Y cuánto valor se asocia con hacerlo?».
Definir métricas y establecer fuertes circuitos de retroalimentación
MassMutual, una empresa de 175 años que presta servicios a millones de propietarios de pólizas y clientes, ha impulsado la IA en producción en todo el negocio: atención al cliente, TI, adquisición de clientes, suscripción, servicios, reclamaciones y otras áreas.
Merritt dijo que su equipo sigue el método científico, comenzando con una hipótesis y probando si tiene un resultado que impulse tangiblemente el negocio hacia adelante. Algunas ideas son geniales, pero pueden resultar “intratables en el negocio” debido a factores como la falta de datos o acceso, o restricciones regulatorias.
«No avanzaremos con una idea hasta que tengamos muy claro cómo vamos a medir y cómo vamos a definir el éxito».
En última instancia, depende de diferentes departamentos y líderes definir qué significa calidad: elegir una métrica y definir el nivel mínimo de calidad antes de poner una herramienta en manos de equipos y socios.
Ese punto de partida crea un rápido ciclo de retroalimentación. «Lo que encontramos que nos frena es cuando no hay una claridad compartida sobre qué resultado estamos tratando de lograr», lo que puede generar confusión y reajustes constantes, dijo Merritt. «No pasamos a la producción hasta que haya un socio comercial que diga: ‘Sí, eso funciona'».
Su equipo es estratégico a la hora de evaluar herramientas emergentes y «extremadamente riguroso» a la hora de probar y medir lo que significa «bueno». Por ejemplo, realizan puntuaciones de confianza para reducir las tasas de alucinaciones, establecen umbrales y criterios de evaluación y monitorean la desviación de características y resultados.
Merritt también opera con una política de no compromiso, lo que significa que la empresa no se limita a utilizar un modelo en particular. Tiene lo que él llama un entorno tecnológico “increíblemente heterogéneo” que combina los mejores modelos con mainframes que se ejecutan en COBOL. Esa flexibilidad no es accidental. Su equipo creó capas de servicios, microservicios y API comunes que se ubican entre la capa de IA y todo lo que hay debajo, de modo que cuando aparece un modelo mejor, intercambiarlo no significa comenzar de nuevo.
Porque, explicó Merritt, “los mejores de hoy podrían ser los peores de mañana, y no queremos quedarnos atrás”.
Deshierbar en lugar de dejar florecer mil flores
El general de masas Brigham (MGB), por su parte, adoptó un enfoque más bien de rociar y orar… al principio.
Alrededor de 15.000 investigadores del sistema de salud sin fines de lucro han estado utilizando IA, ML y aprendizaje profundo durante los últimos 10 a 15 años, dijo el CTO Nallan “Sri” Sriraman en el mismo evento de VB.
Pero el año pasado tomó una decisión audaz: su equipo cerró una serie de pilotos de IA no gobernados. Inicialmente, “seguimos el florecimiento de mil flores [methodology]pero no teníamos mil flores, probablemente teníamos unas pocas decenas de flores tratando de florecer”, dijo.
Al igual que el equipo de Merritt en MassMutual, MGB adoptó una visión más holística y examinó por qué estaban desarrollando ciertas herramientas para departamentos de flujos de trabajo específicos. Se preguntaron qué capacidades querían y necesitaban y qué inversión requerían.
El equipo de Sriraman también habló con sus principales proveedores de plataformas (Epic, Workday, ServiceNow, Microsoft) sobre sus hojas de ruta. Este fue un “momento crucial”, señaló, cuando se dieron cuenta de que estaban creando herramientas internas que los proveedores ya estaban proporcionando (o planeaban implementar).
Como dijo Sriraman: «¿Por qué lo estamos construyendo nosotros mismos? Ya estamos en la plataforma. Estará en el flujo de trabajo. Aprovéchelo».
Dicho esto, el mercado aún es incipiente, lo que puede dificultar la toma de decisiones. “La analogía que daré es cuando le pides a seis hombres ciegos que toquen un elefante y digan: ¿cómo es este elefante?” dijo Sriraman. «Obtendrás seis respuestas diferentes».
No hay nada malo en eso, señaló; es sólo que todo el mundo está descubriendo y experimentando a medida que el paisaje sigue cambiando.
En lugar de un entorno del salvaje Oeste, el equipo de Sriraman distribuye Microsoft Copilot a los usuarios de toda la empresa y utiliza una «pequeña zona de aterrizaje» donde pueden probar de forma segura productos más sofisticados y controlar el uso de tokens.
También comenzaron a “incorporar conscientemente defensores de la IA” en todos los grupos empresariales. “Esto es una especie de reverso de dejar florecer mil flores, plantarlas y nutrirlas con cuidado”, dijo Sriraman.
La observabilidad es otra consideración importante; describe paneles de control en tiempo real que gestionan la deriva y la seguridad del modelo y permiten a los equipos de TI gobernar la IA «de manera un poco más pragmática». El monitoreo del estado es fundamental en los sistemas de IA, señaló, y su equipo ha establecido principios y políticas en torno al uso de la IA, sin mencionar los privilegios mínimos de acceso.
En entornos clínicos, las barreras de seguridad son absolutas: los sistemas de inteligencia artificial nunca toman la decisión final. «Siempre habrá un médico o un asistente médico involucrado para tomar la decisión», dijo Sriraman. Citó la generación de informes de radiología como un área donde la IA se usa mucho, pero donde un radiólogo siempre aprueba.
Sriraman fue claro: «No harás esto: no mostrar PHI [protected health information] en Perplejidad. Tan simple como eso, ¿verdad?»
Y, lo que es más importante, deben existir mecanismos de seguridad. «Necesitamos un gran botón rojo, mátenlo», enfatizó Sriraman. «No ponemos nada en el entorno operativo sin eso».
En última instancia, si bien la IA agente es una tecnología transformadora, el enfoque empresarial no tiene por qué ser dramáticamente diferente. «No hay nada nuevo en esto», dijo Sriraman. “Puedes reemplazar la palabra BPM [business process management] de los años 90 y 2000 con IA. Se aplican los mismos conceptos”.
Los programas de IA empresarial rara vez fracasan debido a malas ideas. Lo más frecuente es que se queden atrapados en un modo piloto no gobernado y nunca lleguen a producirse. En un evento reciente de VentureBeat, los líderes tecnológicos de MassMutual y Mass General Brigham explicaron cómo evitaron esa trampa y cómo se ven los resultados cuando la disciplina reemplaza a la dispersión.
En MassMutual, los resultados son concretos: 30% de aumento en la productividad de los desarrolladores, tiempos de resolución de la mesa de ayuda de TI reducidos de 11 minutos a uno, y llamadas de servicio al cliente reducidas de 15 minutos a solo una o dos.
«Siempre empezamos con la pregunta: ¿por qué nos preocupamos por este problema?» dijo en el evento Sears Merritt, jefe de experiencia y tecnología empresarial de MassMutual. «Si solucionamos el problema, ¿cómo sabremos que lo hemos solucionado? ¿Y cuánto valor se asocia con hacerlo?».
Definir métricas y establecer fuertes circuitos de retroalimentación
MassMutual, una empresa de 175 años que presta servicios a millones de propietarios de pólizas y clientes, ha impulsado la IA en producción en todo el negocio: atención al cliente, TI, adquisición de clientes, suscripción, servicios, reclamaciones y otras áreas.
Merritt dijo que su equipo sigue el método científico, comenzando con una hipótesis y probando si tiene un resultado que impulse tangiblemente el negocio hacia adelante. Algunas ideas son geniales, pero pueden resultar “intratables en el negocio” debido a factores como la falta de datos o acceso, o restricciones regulatorias.
«No avanzaremos con una idea hasta que tengamos muy claro cómo vamos a medir y cómo vamos a definir el éxito».
En última instancia, depende de diferentes departamentos y líderes definir qué significa calidad: elegir una métrica y definir el nivel mínimo de calidad antes de poner una herramienta en manos de equipos y socios.
Ese punto de partida crea un rápido ciclo de retroalimentación. «Lo que encontramos que nos frena es cuando no hay una claridad compartida sobre qué resultado estamos tratando de lograr», lo que puede generar confusión y reajustes constantes, dijo Merritt. «No pasamos a la producción hasta que haya un socio comercial que diga: ‘Sí, eso funciona'».
Su equipo es estratégico a la hora de evaluar herramientas emergentes y «extremadamente riguroso» a la hora de probar y medir lo que significa «bueno». Por ejemplo, realizan puntuaciones de confianza para reducir las tasas de alucinaciones, establecen umbrales y criterios de evaluación y monitorean la desviación de características y resultados.
Merritt también opera con una política de no compromiso, lo que significa que la empresa no se limita a utilizar un modelo en particular. Tiene lo que él llama un entorno tecnológico “increíblemente heterogéneo” que combina los mejores modelos con mainframes que se ejecutan en COBOL. Esa flexibilidad no es accidental. Su equipo creó capas de servicios, microservicios y API comunes que se ubican entre la capa de IA y todo lo que hay debajo, de modo que cuando aparece un modelo mejor, intercambiarlo no significa comenzar de nuevo.
Porque, explicó Merritt, “los mejores de hoy podrían ser los peores de mañana, y no queremos quedarnos atrás”.
Deshierbar en lugar de dejar florecer mil flores
El general de masas Brigham (MGB), por su parte, adoptó un enfoque más bien de rociar y orar… al principio.
Alrededor de 15.000 investigadores del sistema de salud sin fines de lucro han estado utilizando IA, ML y aprendizaje profundo durante los últimos 10 a 15 años, dijo el CTO Nallan “Sri” Sriraman en el mismo evento de VB.
Pero el año pasado tomó una decisión audaz: su equipo cerró una serie de pilotos de IA no gobernados. Inicialmente, “seguimos el florecimiento de mil flores [methodology]pero no teníamos mil flores, probablemente teníamos unas pocas decenas de flores tratando de florecer”, dijo.
Al igual que el equipo de Merritt en MassMutual, MGB adoptó una visión más holística y examinó por qué estaban desarrollando ciertas herramientas para departamentos de flujos de trabajo específicos. Se preguntaron qué capacidades querían y necesitaban y qué inversión requerían.
El equipo de Sriraman también habló con sus principales proveedores de plataformas (Epic, Workday, ServiceNow, Microsoft) sobre sus hojas de ruta. Este fue un “momento crucial”, señaló, cuando se dieron cuenta de que estaban creando herramientas internas que los proveedores ya estaban proporcionando (o planeaban implementar).
Como dijo Sriraman: «¿Por qué lo estamos construyendo nosotros mismos? Ya estamos en la plataforma. Estará en el flujo de trabajo. Aprovéchelo».
Dicho esto, el mercado aún es incipiente, lo que puede dificultar la toma de decisiones. “La analogía que daré es cuando le pides a seis hombres ciegos que toquen un elefante y digan: ¿cómo es este elefante?” dijo Sriraman. «Obtendrás seis respuestas diferentes».
No hay nada malo en eso, señaló; es sólo que todo el mundo está descubriendo y experimentando a medida que el paisaje sigue cambiando.
En lugar de un entorno del salvaje Oeste, el equipo de Sriraman distribuye Microsoft Copilot a los usuarios de toda la empresa y utiliza una «pequeña zona de aterrizaje» donde pueden probar de forma segura productos más sofisticados y controlar el uso de tokens.
También comenzaron a “incorporar conscientemente defensores de la IA” en todos los grupos empresariales. “Esto es una especie de reverso de dejar florecer mil flores, plantarlas y nutrirlas con cuidado”, dijo Sriraman.
La observabilidad es otra consideración importante; describe paneles de control en tiempo real que gestionan la deriva y la seguridad del modelo y permiten a los equipos de TI gobernar la IA «de manera un poco más pragmática». El monitoreo del estado es fundamental en los sistemas de IA, señaló, y su equipo ha establecido principios y políticas en torno al uso de la IA, sin mencionar los privilegios mínimos de acceso.
En entornos clínicos, las barreras de seguridad son absolutas: los sistemas de inteligencia artificial nunca toman la decisión final. «Siempre habrá un médico o un asistente médico involucrado para tomar la decisión», dijo Sriraman. Citó la generación de informes de radiología como un área donde la IA se usa mucho, pero donde un radiólogo siempre aprueba.
Sriraman fue claro: «No harás esto: no mostrar PHI [protected health information] en Perplejidad. Tan simple como eso, ¿verdad?»
Y, lo que es más importante, deben existir mecanismos de seguridad. «Necesitamos un gran botón rojo, mátenlo», enfatizó Sriraman. «No ponemos nada en el entorno operativo sin eso».
En última instancia, si bien la IA agente es una tecnología transformadora, el enfoque empresarial no tiene por qué ser dramáticamente diferente. «No hay nada nuevo en esto», dijo Sriraman. “Puedes reemplazar la palabra BPM [business process management] de los años 90 y 2000 con IA. Se aplican los mismos conceptos”.
Los programas de IA empresarial rara vez fracasan debido a malas ideas. Lo más frecuente es que se queden atrapados en un modo piloto no gobernado y nunca lleguen a producirse. En un evento reciente de VentureBeat, los líderes tecnológicos de MassMutual y Mass General Brigham explicaron cómo evitaron esa trampa y cómo se ven los resultados cuando la disciplina reemplaza a la dispersión.
En MassMutual, los resultados son concretos: 30% de aumento en la productividad de los desarrolladores, tiempos de resolución de la mesa de ayuda de TI reducidos de 11 minutos a uno, y llamadas de servicio al cliente reducidas de 15 minutos a solo una o dos.
«Siempre empezamos con la pregunta: ¿por qué nos preocupamos por este problema?» dijo en el evento Sears Merritt, jefe de experiencia y tecnología empresarial de MassMutual. «Si solucionamos el problema, ¿cómo sabremos que lo hemos solucionado? ¿Y cuánto valor se asocia con hacerlo?».
Definir métricas y establecer fuertes circuitos de retroalimentación
MassMutual, una empresa de 175 años que presta servicios a millones de propietarios de pólizas y clientes, ha impulsado la IA en producción en todo el negocio: atención al cliente, TI, adquisición de clientes, suscripción, servicios, reclamaciones y otras áreas.
Merritt dijo que su equipo sigue el método científico, comenzando con una hipótesis y probando si tiene un resultado que impulse tangiblemente el negocio hacia adelante. Algunas ideas son geniales, pero pueden resultar “intratables en el negocio” debido a factores como la falta de datos o acceso, o restricciones regulatorias.
«No avanzaremos con una idea hasta que tengamos muy claro cómo vamos a medir y cómo vamos a definir el éxito».
En última instancia, depende de diferentes departamentos y líderes definir qué significa calidad: elegir una métrica y definir el nivel mínimo de calidad antes de poner una herramienta en manos de equipos y socios.
Ese punto de partida crea un rápido ciclo de retroalimentación. «Lo que encontramos que nos frena es cuando no hay una claridad compartida sobre qué resultado estamos tratando de lograr», lo que puede generar confusión y reajustes constantes, dijo Merritt. «No pasamos a la producción hasta que haya un socio comercial que diga: ‘Sí, eso funciona'».
Su equipo es estratégico a la hora de evaluar herramientas emergentes y «extremadamente riguroso» a la hora de probar y medir lo que significa «bueno». Por ejemplo, realizan puntuaciones de confianza para reducir las tasas de alucinaciones, establecen umbrales y criterios de evaluación y monitorean la desviación de características y resultados.
Merritt también opera con una política de no compromiso, lo que significa que la empresa no se limita a utilizar un modelo en particular. Tiene lo que él llama un entorno tecnológico “increíblemente heterogéneo” que combina los mejores modelos con mainframes que se ejecutan en COBOL. Esa flexibilidad no es accidental. Su equipo creó capas de servicios, microservicios y API comunes que se ubican entre la capa de IA y todo lo que hay debajo, de modo que cuando aparece un modelo mejor, intercambiarlo no significa comenzar de nuevo.
Porque, explicó Merritt, “los mejores de hoy podrían ser los peores de mañana, y no queremos quedarnos atrás”.
Deshierbar en lugar de dejar florecer mil flores
El general de masas Brigham (MGB), por su parte, adoptó un enfoque más bien de rociar y orar… al principio.
Alrededor de 15.000 investigadores del sistema de salud sin fines de lucro han estado utilizando IA, ML y aprendizaje profundo durante los últimos 10 a 15 años, dijo el CTO Nallan “Sri” Sriraman en el mismo evento de VB.
Pero el año pasado tomó una decisión audaz: su equipo cerró una serie de pilotos de IA no gobernados. Inicialmente, “seguimos el florecimiento de mil flores [methodology]pero no teníamos mil flores, probablemente teníamos unas pocas decenas de flores tratando de florecer”, dijo.
Al igual que el equipo de Merritt en MassMutual, MGB adoptó una visión más holística y examinó por qué estaban desarrollando ciertas herramientas para departamentos de flujos de trabajo específicos. Se preguntaron qué capacidades querían y necesitaban y qué inversión requerían.
El equipo de Sriraman también habló con sus principales proveedores de plataformas (Epic, Workday, ServiceNow, Microsoft) sobre sus hojas de ruta. Este fue un “momento crucial”, señaló, cuando se dieron cuenta de que estaban creando herramientas internas que los proveedores ya estaban proporcionando (o planeaban implementar).
Como dijo Sriraman: «¿Por qué lo estamos construyendo nosotros mismos? Ya estamos en la plataforma. Estará en el flujo de trabajo. Aprovéchelo».
Dicho esto, el mercado aún es incipiente, lo que puede dificultar la toma de decisiones. “La analogía que daré es cuando le pides a seis hombres ciegos que toquen un elefante y digan: ¿cómo es este elefante?” dijo Sriraman. «Obtendrás seis respuestas diferentes».
No hay nada malo en eso, señaló; es sólo que todo el mundo está descubriendo y experimentando a medida que el paisaje sigue cambiando.
En lugar de un entorno del salvaje Oeste, el equipo de Sriraman distribuye Microsoft Copilot a los usuarios de toda la empresa y utiliza una «pequeña zona de aterrizaje» donde pueden probar de forma segura productos más sofisticados y controlar el uso de tokens.
También comenzaron a “incorporar conscientemente defensores de la IA” en todos los grupos empresariales. “Esto es una especie de reverso de dejar florecer mil flores, plantarlas y nutrirlas con cuidado”, dijo Sriraman.
La observabilidad es otra consideración importante; describe paneles de control en tiempo real que gestionan la deriva y la seguridad del modelo y permiten a los equipos de TI gobernar la IA «de manera un poco más pragmática». El monitoreo del estado es fundamental en los sistemas de IA, señaló, y su equipo ha establecido principios y políticas en torno al uso de la IA, sin mencionar los privilegios mínimos de acceso.
En entornos clínicos, las barreras de seguridad son absolutas: los sistemas de inteligencia artificial nunca toman la decisión final. «Siempre habrá un médico o un asistente médico involucrado para tomar la decisión», dijo Sriraman. Citó la generación de informes de radiología como un área donde la IA se usa mucho, pero donde un radiólogo siempre aprueba.
Sriraman fue claro: «No harás esto: no mostrar PHI [protected health information] en Perplejidad. Tan simple como eso, ¿verdad?»
Y, lo que es más importante, deben existir mecanismos de seguridad. «Necesitamos un gran botón rojo, mátenlo», enfatizó Sriraman. «No ponemos nada en el entorno operativo sin eso».
En última instancia, si bien la IA agente es una tecnología transformadora, el enfoque empresarial no tiene por qué ser dramáticamente diferente. «No hay nada nuevo en esto», dijo Sriraman. “Puedes reemplazar la palabra BPM [business process management] de los años 90 y 2000 con IA. Se aplican los mismos conceptos”.
