Los grandes modelos de lenguaje continúan luchando contra las alucinaciones, lo que presenta un obstáculo importante para las aplicaciones empresariales del mundo real. Reducir estos errores es una tarea complicada, que obliga a los desarrolladores de modelos a navegar por un equilibrio estricto en el que la eliminación de errores fácticos a menudo suprime las respuestas válidas.
en un papel nuevolos investigadores de Google introducen el concepto de «incertidumbre fiel», una técnica metacognitiva que alinea la respuesta de un modelo con su confianza interna. Esta alineación permite que el modelo ofrezca hipótesis adecuadamente protegidas, como «Mi mejor suposición es», en lugar de recurrir a un binario inútil de «responder o abstenerse».
En las aplicaciones de IA agente del mundo real, esta conciencia metacognitiva actúa como una capa de control esencial. Permite a los sistemas autónomos determinar con precisión cuándo su conocimiento interno es suficiente y cuándo deben activar dinámicamente herramientas externas o buscar API para resolver déficits.
El impuesto a los servicios públicos de las estrategias de mitigación actuales
Comprensión por qué los LLM alucinan Depende de separar dos capacidades: un modelo de conocer hechos versus saber lo que se sabe. Históricamente, la mayoría de las ganancias de factibilidad en la IA provienen de la expansión de los límites del conocimiento, lo que significa que los desarrolladores simplemente incluyen más datos en los parámetros del modelo a mayor escala y más datos de entrenamiento.
Sin embargo, ampliar el conocimiento de un modelo no mejora automáticamente su conciencia de los límites, que es su capacidad para distinguir lo conocido de lo desconocido y reconocer sus propias limitaciones.
«En términos generales, existen dos formas de mejorar la factualidad del LLM», dijo a VentureBeat Gal Yona, investigadora científica de Google y coautora del artículo. El primero es seguir enseñando más hechos al modelo. Pero, señala Yona, “la capacidad del modelo es finita y la larga cola de conocimiento es efectivamente infinita”.
Una vez que los modelos alcanzan este límite, la esperanza es que sepan lo que no saben y simplemente se abstengan de responder. Sin embargo, esto es intrínsecamente difícil para los LLM.
«Esta es la razón por la que la mayoría de los intentos prácticos de reducir las alucinaciones mediante diversas intervenciones no llegan a implementarse», explica Yona. «Reducen las alucinaciones, pero también perjudican la utilidad, porque el modelo termina negándose a responder preguntas que realmente sabe».
Esta incapacidad para distinguir entre lo conocido y lo desconocido crea lo que los autores del artículo llaman el «impuesto a los servicios públicos». Hacer cumplir un estándar de cero alucinaciones requiere que el modelo se abstenga siempre que sea ligeramente incierto, descartando volúmenes masivos de información completamente válida. Por ejemplo, los autores demuestran que reducir una tasa de error subyacente del 25% a un objetivo estricto del 5% obliga a los desarrolladores a descartar el 52% de las respuestas correctas del modelo.
Tratar todos los errores como alucinaciones obliga a los sistemas empresariales a elegir entre confiabilidad y utilidad. Los desarrolladores de aplicaciones generalmente no están dispuestos a pagar este enorme impuesto a los servicios públicos y hacer que sus modelos sean inútiles.
En consecuencia, optimizan los sistemas para priorizar la cobertura, lo que obliga a los modelos a operar en un estado en el que continúan generando alucinaciones de confianza.
Replantear las alucinaciones como errores de confianza
Para superar el impuesto a los servicios públicos, los investigadores proponen dejar de tratar cualquier error fáctico como una alucinación. En cambio, replantean las alucinaciones como «errores de confianza»: información incorrecta entregada con autoridad sin la calificación adecuada.
Este sutil replanteamiento disuelve la estricta dicotomía de «responder o abstenerse» y permite que el modelo exprese su incertidumbre.
En este nuevo marco, si un modelo comete un error factual pero protege adecuadamente su respuesta (por ejemplo, al afirmar: «No estoy completamente seguro, pero creo…»), no es una alucinación. Es simplemente una hipótesis que se ofrece al usuario para su consideración. Al expresar incertidumbre, la IA preserva su utilidad (compartiendo cualquier conocimiento parcial o probable que tenga) sin violar la confianza del usuario.
Sin embargo, si un asistente de IA cubre todas sus respuestas con un descargo de responsabilidad, el usuario se ve obligado a verificar todo dos veces, anulando por completo el propósito de la herramienta.
La solución que proponen los investigadores es la «incertidumbre fiel». Este enfoque requiere alinear la incertidumbre lingüística de un modelo, o las palabras que utiliza para expresar dudas, con su incertidumbre intrínseca, que es su confianza estadística interna real en esa respuesta específica. Esto garantiza que el modelo solo cubra cuando su estado interno refleje genuinamente información contradictoria o de baja probabilidad.
La incertidumbre fiel forma un componente central de la «metacognición», la capacidad de la IA para ser consciente de su propia incertidumbre y actuar en consecuencia. Para entender esto de manera práctica, considere el ejemplo intuitivo de consultar a un médico. No confiamos en los médicos porque lo saben todo. Confiamos en ellos porque distinguen de manera confiable entre un diagnóstico seguro («Tienes una fractura») y una hipótesis fundamentada («Puede ser un esguince, pero hagamos algunas pruebas»).
Implicaciones prácticas para la IA empresarial
Según el nuevo marco, los errores en los que un modelo es genuinamente seguro pero objetivamente incorrecto se clasifican como “errores honestos”. Esto presenta la expansión del conocimiento (entrenar el modelo con más datos) y la incertidumbre fiel como esfuerzos completamente complementarios. La expansión del conocimiento empuja el límite absoluto del conocimiento hacia afuera para minimizar los errores honestos, mientras que la incertidumbre fiel comunica honestamente dónde se encuentra ese límite actualmente.
Este nuevo marco tiene implicaciones importantes para las aplicaciones agentes. El cambio a la IA agente podría hacer que parezca redundante saber lo que el modelo no sabe, ya que los modelos simplemente pueden buscar en bases de datos externas. Sin embargo, el acceso a herramientas externas en realidad amplifica la necesidad de una incertidumbre fiel. En los sistemas agentes, la metacognición se convierte en la capa de control central que gobierna todo el sistema.
Las herramientas externas resuelven el problema del almacenamiento porque el modelo ya no necesita codificar cada hecho en sus parámetros. Sin embargo, esto introduce un nuevo problema de control: gestionar cuándo recuperar información, verificar hechos y orquestar estas herramientas externas. Sin una incertidumbre fiel, un agente esencialmente está volando a ciegas y debe confiar en heurísticas estáticas externas o andamios sobrediseñados.
«El modelo podría buscar algo que ya sabe con confianza, desperdiciando latencia y costos sin obtener ganancias. O lo contrario: responde con confianza desde la memoria cuando debería haber buscado, produciendo un resultado plausible pero incorrecto», dijo Yona. Los arneses de agentes actuales intentan resolver esto externamente con clasificadores de consultas o reglas de búsqueda constante, pero Yona señala que son «estáticos y frágiles». Al utilizar su incertidumbre intrínseca para regular su propio comportamiento, el agente optimiza dinámicamente el uso de su herramienta, eligiendo invocar una herramienta de búsqueda sólo cuando su confianza interna es genuinamente baja.
Más allá de decidir cuándo buscar, la incertidumbre fiel es fundamental para evaluar los resultados de una búsqueda. Si una herramienta devuelve información inesperada o de baja calidad, un agente metacognitivo no acepta ciegamente lo que aparece en su ventana contextual. En cambio, utiliza su conciencia de incertidumbre para sopesar las señales externas recuperadas con sus propios antecedentes internos. Esto evita un comportamiento adulador en el que el sistema podría confiar en fuentes externas que entran en conflicto con su conocimiento real conocido.
La paradoja del arranque: el truco de enseñar incertidumbre
Para los creadores de empresas, lograr esta fiel incertidumbre es más complicado de lo que parece. Requiere enseñar a los modelos la sintaxis de la incertidumbre mediante un ajuste fino supervisado (SFT). Debido a que los modelos previamente entrenados reciben en su mayoría texto autorizado, se les debe enseñar explícitamente a decir cosas como: «No estoy del todo seguro, pero creo que VentureBeat se fundó en…»
Pero la SFT introduce una «paradoja del arranque». A diferencia de los conjuntos de datos de entrenamiento estándar donde la «respuesta correcta» es la misma independientemente del modelo, la verdad fundamental para la incertidumbre es la propia base de conocimiento dinámico del modelo.
«Aquí está el truco: la expresión ‘correcta’ de la incertidumbre es inherentemente dinámica, porque depende de lo que este modelo particular sabe o no sabe en este punto particular del entrenamiento», dijo Yona. «Si entrenas con una etiqueta que dice ‘No sé X’ pero el modelo realmente conoce X, le has enseñado a alucinar la incertidumbre… Los datos de entrenamiento son estáticos, pero el objetivo es móvil, y esa es la tensión fundamental con la que deben lidiar los equipos».
El camino hacia una IA autoconsciente
Para las empresas que buscan implementar estas capacidades sin una costosa recapacitación, las indicaciones sirven como el punto de entrada más accesible. «La ingeniería rápida ya es algo que la mayoría de los ingenieros hacen hoy en día, esto proporciona el camino de menor fricción para mejorar el comportamiento metacognitivo en la actualidad», dijo Yona. Los desarrolladores empresariales pueden explorar marcos como metafeun proyecto de código abierto del que Yona fue coautor, para comenzar a aplicar indicaciones metacognitivas a modelos disponibles en el mercado.
Sin embargo, Yona advierte que «todavía hay un margen sustancial que la estimulación por sí sola no resuelve», lo que significa que la industria eventualmente necesitará depender del aprendizaje por refuerzo (RL) avanzado para integrar profundamente la metacognición en el entrenamiento de modelos.
En última instancia, a medida que las empresas pasen de aplicaciones de chat aisladas a flujos de trabajo complejos con múltiples agentes, la autoconciencia se convertirá en un requisito previo definitorio para una autonomía confiable. Pero evaluar si un modelo realmente posee esta conciencia sigue siendo un desafío técnico profundo.
«¿Cómo se evalúa realmente si un modelo puede detectar sus estados internos?» pregunta Yona. «Incluso en los seres humanos, es difícil definir o separar las ‘verdaderas’ capacidades de autocontrol de una confianza capaz en representantes. Nos enfrentamos exactamente a los mismos desafíos con los LLM: un modelo puede aprender a imitar el estilo de incertidumbre sin sentir realmente su estado interno. Desarrollar marcos de evaluación que puedan notar la diferencia es uno de los problemas abiertos más importantes en este espacio».
Los grandes modelos de lenguaje continúan luchando contra las alucinaciones, lo que presenta un obstáculo importante para las aplicaciones empresariales del mundo real. Reducir estos errores es una tarea complicada, que obliga a los desarrolladores de modelos a navegar por un equilibrio estricto en el que la eliminación de errores fácticos a menudo suprime las respuestas válidas.
en un papel nuevolos investigadores de Google introducen el concepto de «incertidumbre fiel», una técnica metacognitiva que alinea la respuesta de un modelo con su confianza interna. Esta alineación permite que el modelo ofrezca hipótesis adecuadamente protegidas, como «Mi mejor suposición es», en lugar de recurrir a un binario inútil de «responder o abstenerse».
En las aplicaciones de IA agente del mundo real, esta conciencia metacognitiva actúa como una capa de control esencial. Permite a los sistemas autónomos determinar con precisión cuándo su conocimiento interno es suficiente y cuándo deben activar dinámicamente herramientas externas o buscar API para resolver déficits.
El impuesto a los servicios públicos de las estrategias de mitigación actuales
Comprensión por qué los LLM alucinan Depende de separar dos capacidades: un modelo de conocer hechos versus saber lo que se sabe. Históricamente, la mayoría de las ganancias de factibilidad en la IA provienen de la expansión de los límites del conocimiento, lo que significa que los desarrolladores simplemente incluyen más datos en los parámetros del modelo a mayor escala y más datos de entrenamiento.
Sin embargo, ampliar el conocimiento de un modelo no mejora automáticamente su conciencia de los límites, que es su capacidad para distinguir lo conocido de lo desconocido y reconocer sus propias limitaciones.
«En términos generales, existen dos formas de mejorar la factualidad del LLM», dijo a VentureBeat Gal Yona, investigadora científica de Google y coautora del artículo. El primero es seguir enseñando más hechos al modelo. Pero, señala Yona, “la capacidad del modelo es finita y la larga cola de conocimiento es efectivamente infinita”.
Una vez que los modelos alcanzan este límite, la esperanza es que sepan lo que no saben y simplemente se abstengan de responder. Sin embargo, esto es intrínsecamente difícil para los LLM.
«Esta es la razón por la que la mayoría de los intentos prácticos de reducir las alucinaciones mediante diversas intervenciones no llegan a implementarse», explica Yona. «Reducen las alucinaciones, pero también perjudican la utilidad, porque el modelo termina negándose a responder preguntas que realmente sabe».
Esta incapacidad para distinguir entre lo conocido y lo desconocido crea lo que los autores del artículo llaman el «impuesto a los servicios públicos». Hacer cumplir un estándar de cero alucinaciones requiere que el modelo se abstenga siempre que sea ligeramente incierto, descartando volúmenes masivos de información completamente válida. Por ejemplo, los autores demuestran que reducir una tasa de error subyacente del 25% a un objetivo estricto del 5% obliga a los desarrolladores a descartar el 52% de las respuestas correctas del modelo.
Tratar todos los errores como alucinaciones obliga a los sistemas empresariales a elegir entre confiabilidad y utilidad. Los desarrolladores de aplicaciones generalmente no están dispuestos a pagar este enorme impuesto a los servicios públicos y hacer que sus modelos sean inútiles.
En consecuencia, optimizan los sistemas para priorizar la cobertura, lo que obliga a los modelos a operar en un estado en el que continúan generando alucinaciones de confianza.
Replantear las alucinaciones como errores de confianza
Para superar el impuesto a los servicios públicos, los investigadores proponen dejar de tratar cualquier error fáctico como una alucinación. En cambio, replantean las alucinaciones como «errores de confianza»: información incorrecta entregada con autoridad sin la calificación adecuada.
Este sutil replanteamiento disuelve la estricta dicotomía de «responder o abstenerse» y permite que el modelo exprese su incertidumbre.
En este nuevo marco, si un modelo comete un error factual pero protege adecuadamente su respuesta (por ejemplo, al afirmar: «No estoy completamente seguro, pero creo…»), no es una alucinación. Es simplemente una hipótesis que se ofrece al usuario para su consideración. Al expresar incertidumbre, la IA preserva su utilidad (compartiendo cualquier conocimiento parcial o probable que tenga) sin violar la confianza del usuario.
Sin embargo, si un asistente de IA cubre todas sus respuestas con un descargo de responsabilidad, el usuario se ve obligado a verificar todo dos veces, anulando por completo el propósito de la herramienta.
La solución que proponen los investigadores es la «incertidumbre fiel». Este enfoque requiere alinear la incertidumbre lingüística de un modelo, o las palabras que utiliza para expresar dudas, con su incertidumbre intrínseca, que es su confianza estadística interna real en esa respuesta específica. Esto garantiza que el modelo solo cubra cuando su estado interno refleje genuinamente información contradictoria o de baja probabilidad.
La incertidumbre fiel forma un componente central de la «metacognición», la capacidad de la IA para ser consciente de su propia incertidumbre y actuar en consecuencia. Para entender esto de manera práctica, considere el ejemplo intuitivo de consultar a un médico. No confiamos en los médicos porque lo saben todo. Confiamos en ellos porque distinguen de manera confiable entre un diagnóstico seguro («Tienes una fractura») y una hipótesis fundamentada («Puede ser un esguince, pero hagamos algunas pruebas»).
Implicaciones prácticas para la IA empresarial
Según el nuevo marco, los errores en los que un modelo es genuinamente seguro pero objetivamente incorrecto se clasifican como “errores honestos”. Esto presenta la expansión del conocimiento (entrenar el modelo con más datos) y la incertidumbre fiel como esfuerzos completamente complementarios. La expansión del conocimiento empuja el límite absoluto del conocimiento hacia afuera para minimizar los errores honestos, mientras que la incertidumbre fiel comunica honestamente dónde se encuentra ese límite actualmente.
Este nuevo marco tiene implicaciones importantes para las aplicaciones agentes. El cambio a la IA agente podría hacer que parezca redundante saber lo que el modelo no sabe, ya que los modelos simplemente pueden buscar en bases de datos externas. Sin embargo, el acceso a herramientas externas en realidad amplifica la necesidad de una incertidumbre fiel. En los sistemas agentes, la metacognición se convierte en la capa de control central que gobierna todo el sistema.
Las herramientas externas resuelven el problema del almacenamiento porque el modelo ya no necesita codificar cada hecho en sus parámetros. Sin embargo, esto introduce un nuevo problema de control: gestionar cuándo recuperar información, verificar hechos y orquestar estas herramientas externas. Sin una incertidumbre fiel, un agente esencialmente está volando a ciegas y debe confiar en heurísticas estáticas externas o andamios sobrediseñados.
«El modelo podría buscar algo que ya sabe con confianza, desperdiciando latencia y costos sin obtener ganancias. O lo contrario: responde con confianza desde la memoria cuando debería haber buscado, produciendo un resultado plausible pero incorrecto», dijo Yona. Los arneses de agentes actuales intentan resolver esto externamente con clasificadores de consultas o reglas de búsqueda constante, pero Yona señala que son «estáticos y frágiles». Al utilizar su incertidumbre intrínseca para regular su propio comportamiento, el agente optimiza dinámicamente el uso de su herramienta, eligiendo invocar una herramienta de búsqueda sólo cuando su confianza interna es genuinamente baja.
Más allá de decidir cuándo buscar, la incertidumbre fiel es fundamental para evaluar los resultados de una búsqueda. Si una herramienta devuelve información inesperada o de baja calidad, un agente metacognitivo no acepta ciegamente lo que aparece en su ventana contextual. En cambio, utiliza su conciencia de incertidumbre para sopesar las señales externas recuperadas con sus propios antecedentes internos. Esto evita un comportamiento adulador en el que el sistema podría confiar en fuentes externas que entran en conflicto con su conocimiento real conocido.
La paradoja del arranque: el truco de enseñar incertidumbre
Para los creadores de empresas, lograr esta fiel incertidumbre es más complicado de lo que parece. Requiere enseñar a los modelos la sintaxis de la incertidumbre mediante un ajuste fino supervisado (SFT). Debido a que los modelos previamente entrenados reciben en su mayoría texto autorizado, se les debe enseñar explícitamente a decir cosas como: «No estoy del todo seguro, pero creo que VentureBeat se fundó en…»
Pero la SFT introduce una «paradoja del arranque». A diferencia de los conjuntos de datos de entrenamiento estándar donde la «respuesta correcta» es la misma independientemente del modelo, la verdad fundamental para la incertidumbre es la propia base de conocimiento dinámico del modelo.
«Aquí está el truco: la expresión ‘correcta’ de la incertidumbre es inherentemente dinámica, porque depende de lo que este modelo particular sabe o no sabe en este punto particular del entrenamiento», dijo Yona. «Si entrenas con una etiqueta que dice ‘No sé X’ pero el modelo realmente conoce X, le has enseñado a alucinar la incertidumbre… Los datos de entrenamiento son estáticos, pero el objetivo es móvil, y esa es la tensión fundamental con la que deben lidiar los equipos».
El camino hacia una IA autoconsciente
Para las empresas que buscan implementar estas capacidades sin una costosa recapacitación, las indicaciones sirven como el punto de entrada más accesible. «La ingeniería rápida ya es algo que la mayoría de los ingenieros hacen hoy en día, esto proporciona el camino de menor fricción para mejorar el comportamiento metacognitivo en la actualidad», dijo Yona. Los desarrolladores empresariales pueden explorar marcos como metafeun proyecto de código abierto del que Yona fue coautor, para comenzar a aplicar indicaciones metacognitivas a modelos disponibles en el mercado.
Sin embargo, Yona advierte que «todavía hay un margen sustancial que la estimulación por sí sola no resuelve», lo que significa que la industria eventualmente necesitará depender del aprendizaje por refuerzo (RL) avanzado para integrar profundamente la metacognición en el entrenamiento de modelos.
En última instancia, a medida que las empresas pasen de aplicaciones de chat aisladas a flujos de trabajo complejos con múltiples agentes, la autoconciencia se convertirá en un requisito previo definitorio para una autonomía confiable. Pero evaluar si un modelo realmente posee esta conciencia sigue siendo un desafío técnico profundo.
«¿Cómo se evalúa realmente si un modelo puede detectar sus estados internos?» pregunta Yona. «Incluso en los seres humanos, es difícil definir o separar las ‘verdaderas’ capacidades de autocontrol de una confianza capaz en representantes. Nos enfrentamos exactamente a los mismos desafíos con los LLM: un modelo puede aprender a imitar el estilo de incertidumbre sin sentir realmente su estado interno. Desarrollar marcos de evaluación que puedan notar la diferencia es uno de los problemas abiertos más importantes en este espacio».
Los grandes modelos de lenguaje continúan luchando contra las alucinaciones, lo que presenta un obstáculo importante para las aplicaciones empresariales del mundo real. Reducir estos errores es una tarea complicada, que obliga a los desarrolladores de modelos a navegar por un equilibrio estricto en el que la eliminación de errores fácticos a menudo suprime las respuestas válidas.
en un papel nuevolos investigadores de Google introducen el concepto de «incertidumbre fiel», una técnica metacognitiva que alinea la respuesta de un modelo con su confianza interna. Esta alineación permite que el modelo ofrezca hipótesis adecuadamente protegidas, como «Mi mejor suposición es», en lugar de recurrir a un binario inútil de «responder o abstenerse».
En las aplicaciones de IA agente del mundo real, esta conciencia metacognitiva actúa como una capa de control esencial. Permite a los sistemas autónomos determinar con precisión cuándo su conocimiento interno es suficiente y cuándo deben activar dinámicamente herramientas externas o buscar API para resolver déficits.
El impuesto a los servicios públicos de las estrategias de mitigación actuales
Comprensión por qué los LLM alucinan Depende de separar dos capacidades: un modelo de conocer hechos versus saber lo que se sabe. Históricamente, la mayoría de las ganancias de factibilidad en la IA provienen de la expansión de los límites del conocimiento, lo que significa que los desarrolladores simplemente incluyen más datos en los parámetros del modelo a mayor escala y más datos de entrenamiento.
Sin embargo, ampliar el conocimiento de un modelo no mejora automáticamente su conciencia de los límites, que es su capacidad para distinguir lo conocido de lo desconocido y reconocer sus propias limitaciones.
«En términos generales, existen dos formas de mejorar la factualidad del LLM», dijo a VentureBeat Gal Yona, investigadora científica de Google y coautora del artículo. El primero es seguir enseñando más hechos al modelo. Pero, señala Yona, “la capacidad del modelo es finita y la larga cola de conocimiento es efectivamente infinita”.
Una vez que los modelos alcanzan este límite, la esperanza es que sepan lo que no saben y simplemente se abstengan de responder. Sin embargo, esto es intrínsecamente difícil para los LLM.
«Esta es la razón por la que la mayoría de los intentos prácticos de reducir las alucinaciones mediante diversas intervenciones no llegan a implementarse», explica Yona. «Reducen las alucinaciones, pero también perjudican la utilidad, porque el modelo termina negándose a responder preguntas que realmente sabe».
Esta incapacidad para distinguir entre lo conocido y lo desconocido crea lo que los autores del artículo llaman el «impuesto a los servicios públicos». Hacer cumplir un estándar de cero alucinaciones requiere que el modelo se abstenga siempre que sea ligeramente incierto, descartando volúmenes masivos de información completamente válida. Por ejemplo, los autores demuestran que reducir una tasa de error subyacente del 25% a un objetivo estricto del 5% obliga a los desarrolladores a descartar el 52% de las respuestas correctas del modelo.
Tratar todos los errores como alucinaciones obliga a los sistemas empresariales a elegir entre confiabilidad y utilidad. Los desarrolladores de aplicaciones generalmente no están dispuestos a pagar este enorme impuesto a los servicios públicos y hacer que sus modelos sean inútiles.
En consecuencia, optimizan los sistemas para priorizar la cobertura, lo que obliga a los modelos a operar en un estado en el que continúan generando alucinaciones de confianza.
Replantear las alucinaciones como errores de confianza
Para superar el impuesto a los servicios públicos, los investigadores proponen dejar de tratar cualquier error fáctico como una alucinación. En cambio, replantean las alucinaciones como «errores de confianza»: información incorrecta entregada con autoridad sin la calificación adecuada.
Este sutil replanteamiento disuelve la estricta dicotomía de «responder o abstenerse» y permite que el modelo exprese su incertidumbre.
En este nuevo marco, si un modelo comete un error factual pero protege adecuadamente su respuesta (por ejemplo, al afirmar: «No estoy completamente seguro, pero creo…»), no es una alucinación. Es simplemente una hipótesis que se ofrece al usuario para su consideración. Al expresar incertidumbre, la IA preserva su utilidad (compartiendo cualquier conocimiento parcial o probable que tenga) sin violar la confianza del usuario.
Sin embargo, si un asistente de IA cubre todas sus respuestas con un descargo de responsabilidad, el usuario se ve obligado a verificar todo dos veces, anulando por completo el propósito de la herramienta.
La solución que proponen los investigadores es la «incertidumbre fiel». Este enfoque requiere alinear la incertidumbre lingüística de un modelo, o las palabras que utiliza para expresar dudas, con su incertidumbre intrínseca, que es su confianza estadística interna real en esa respuesta específica. Esto garantiza que el modelo solo cubra cuando su estado interno refleje genuinamente información contradictoria o de baja probabilidad.
La incertidumbre fiel forma un componente central de la «metacognición», la capacidad de la IA para ser consciente de su propia incertidumbre y actuar en consecuencia. Para entender esto de manera práctica, considere el ejemplo intuitivo de consultar a un médico. No confiamos en los médicos porque lo saben todo. Confiamos en ellos porque distinguen de manera confiable entre un diagnóstico seguro («Tienes una fractura») y una hipótesis fundamentada («Puede ser un esguince, pero hagamos algunas pruebas»).
Implicaciones prácticas para la IA empresarial
Según el nuevo marco, los errores en los que un modelo es genuinamente seguro pero objetivamente incorrecto se clasifican como “errores honestos”. Esto presenta la expansión del conocimiento (entrenar el modelo con más datos) y la incertidumbre fiel como esfuerzos completamente complementarios. La expansión del conocimiento empuja el límite absoluto del conocimiento hacia afuera para minimizar los errores honestos, mientras que la incertidumbre fiel comunica honestamente dónde se encuentra ese límite actualmente.
Este nuevo marco tiene implicaciones importantes para las aplicaciones agentes. El cambio a la IA agente podría hacer que parezca redundante saber lo que el modelo no sabe, ya que los modelos simplemente pueden buscar en bases de datos externas. Sin embargo, el acceso a herramientas externas en realidad amplifica la necesidad de una incertidumbre fiel. En los sistemas agentes, la metacognición se convierte en la capa de control central que gobierna todo el sistema.
Las herramientas externas resuelven el problema del almacenamiento porque el modelo ya no necesita codificar cada hecho en sus parámetros. Sin embargo, esto introduce un nuevo problema de control: gestionar cuándo recuperar información, verificar hechos y orquestar estas herramientas externas. Sin una incertidumbre fiel, un agente esencialmente está volando a ciegas y debe confiar en heurísticas estáticas externas o andamios sobrediseñados.
«El modelo podría buscar algo que ya sabe con confianza, desperdiciando latencia y costos sin obtener ganancias. O lo contrario: responde con confianza desde la memoria cuando debería haber buscado, produciendo un resultado plausible pero incorrecto», dijo Yona. Los arneses de agentes actuales intentan resolver esto externamente con clasificadores de consultas o reglas de búsqueda constante, pero Yona señala que son «estáticos y frágiles». Al utilizar su incertidumbre intrínseca para regular su propio comportamiento, el agente optimiza dinámicamente el uso de su herramienta, eligiendo invocar una herramienta de búsqueda sólo cuando su confianza interna es genuinamente baja.
Más allá de decidir cuándo buscar, la incertidumbre fiel es fundamental para evaluar los resultados de una búsqueda. Si una herramienta devuelve información inesperada o de baja calidad, un agente metacognitivo no acepta ciegamente lo que aparece en su ventana contextual. En cambio, utiliza su conciencia de incertidumbre para sopesar las señales externas recuperadas con sus propios antecedentes internos. Esto evita un comportamiento adulador en el que el sistema podría confiar en fuentes externas que entran en conflicto con su conocimiento real conocido.
La paradoja del arranque: el truco de enseñar incertidumbre
Para los creadores de empresas, lograr esta fiel incertidumbre es más complicado de lo que parece. Requiere enseñar a los modelos la sintaxis de la incertidumbre mediante un ajuste fino supervisado (SFT). Debido a que los modelos previamente entrenados reciben en su mayoría texto autorizado, se les debe enseñar explícitamente a decir cosas como: «No estoy del todo seguro, pero creo que VentureBeat se fundó en…»
Pero la SFT introduce una «paradoja del arranque». A diferencia de los conjuntos de datos de entrenamiento estándar donde la «respuesta correcta» es la misma independientemente del modelo, la verdad fundamental para la incertidumbre es la propia base de conocimiento dinámico del modelo.
«Aquí está el truco: la expresión ‘correcta’ de la incertidumbre es inherentemente dinámica, porque depende de lo que este modelo particular sabe o no sabe en este punto particular del entrenamiento», dijo Yona. «Si entrenas con una etiqueta que dice ‘No sé X’ pero el modelo realmente conoce X, le has enseñado a alucinar la incertidumbre… Los datos de entrenamiento son estáticos, pero el objetivo es móvil, y esa es la tensión fundamental con la que deben lidiar los equipos».
El camino hacia una IA autoconsciente
Para las empresas que buscan implementar estas capacidades sin una costosa recapacitación, las indicaciones sirven como el punto de entrada más accesible. «La ingeniería rápida ya es algo que la mayoría de los ingenieros hacen hoy en día, esto proporciona el camino de menor fricción para mejorar el comportamiento metacognitivo en la actualidad», dijo Yona. Los desarrolladores empresariales pueden explorar marcos como metafeun proyecto de código abierto del que Yona fue coautor, para comenzar a aplicar indicaciones metacognitivas a modelos disponibles en el mercado.
Sin embargo, Yona advierte que «todavía hay un margen sustancial que la estimulación por sí sola no resuelve», lo que significa que la industria eventualmente necesitará depender del aprendizaje por refuerzo (RL) avanzado para integrar profundamente la metacognición en el entrenamiento de modelos.
En última instancia, a medida que las empresas pasen de aplicaciones de chat aisladas a flujos de trabajo complejos con múltiples agentes, la autoconciencia se convertirá en un requisito previo definitorio para una autonomía confiable. Pero evaluar si un modelo realmente posee esta conciencia sigue siendo un desafío técnico profundo.
«¿Cómo se evalúa realmente si un modelo puede detectar sus estados internos?» pregunta Yona. «Incluso en los seres humanos, es difícil definir o separar las ‘verdaderas’ capacidades de autocontrol de una confianza capaz en representantes. Nos enfrentamos exactamente a los mismos desafíos con los LLM: un modelo puede aprender a imitar el estilo de incertidumbre sin sentir realmente su estado interno. Desarrollar marcos de evaluación que puedan notar la diferencia es uno de los problemas abiertos más importantes en este espacio».
Los grandes modelos de lenguaje continúan luchando contra las alucinaciones, lo que presenta un obstáculo importante para las aplicaciones empresariales del mundo real. Reducir estos errores es una tarea complicada, que obliga a los desarrolladores de modelos a navegar por un equilibrio estricto en el que la eliminación de errores fácticos a menudo suprime las respuestas válidas.
en un papel nuevolos investigadores de Google introducen el concepto de «incertidumbre fiel», una técnica metacognitiva que alinea la respuesta de un modelo con su confianza interna. Esta alineación permite que el modelo ofrezca hipótesis adecuadamente protegidas, como «Mi mejor suposición es», en lugar de recurrir a un binario inútil de «responder o abstenerse».
En las aplicaciones de IA agente del mundo real, esta conciencia metacognitiva actúa como una capa de control esencial. Permite a los sistemas autónomos determinar con precisión cuándo su conocimiento interno es suficiente y cuándo deben activar dinámicamente herramientas externas o buscar API para resolver déficits.
El impuesto a los servicios públicos de las estrategias de mitigación actuales
Comprensión por qué los LLM alucinan Depende de separar dos capacidades: un modelo de conocer hechos versus saber lo que se sabe. Históricamente, la mayoría de las ganancias de factibilidad en la IA provienen de la expansión de los límites del conocimiento, lo que significa que los desarrolladores simplemente incluyen más datos en los parámetros del modelo a mayor escala y más datos de entrenamiento.
Sin embargo, ampliar el conocimiento de un modelo no mejora automáticamente su conciencia de los límites, que es su capacidad para distinguir lo conocido de lo desconocido y reconocer sus propias limitaciones.
«En términos generales, existen dos formas de mejorar la factualidad del LLM», dijo a VentureBeat Gal Yona, investigadora científica de Google y coautora del artículo. El primero es seguir enseñando más hechos al modelo. Pero, señala Yona, “la capacidad del modelo es finita y la larga cola de conocimiento es efectivamente infinita”.
Una vez que los modelos alcanzan este límite, la esperanza es que sepan lo que no saben y simplemente se abstengan de responder. Sin embargo, esto es intrínsecamente difícil para los LLM.
«Esta es la razón por la que la mayoría de los intentos prácticos de reducir las alucinaciones mediante diversas intervenciones no llegan a implementarse», explica Yona. «Reducen las alucinaciones, pero también perjudican la utilidad, porque el modelo termina negándose a responder preguntas que realmente sabe».
Esta incapacidad para distinguir entre lo conocido y lo desconocido crea lo que los autores del artículo llaman el «impuesto a los servicios públicos». Hacer cumplir un estándar de cero alucinaciones requiere que el modelo se abstenga siempre que sea ligeramente incierto, descartando volúmenes masivos de información completamente válida. Por ejemplo, los autores demuestran que reducir una tasa de error subyacente del 25% a un objetivo estricto del 5% obliga a los desarrolladores a descartar el 52% de las respuestas correctas del modelo.
Tratar todos los errores como alucinaciones obliga a los sistemas empresariales a elegir entre confiabilidad y utilidad. Los desarrolladores de aplicaciones generalmente no están dispuestos a pagar este enorme impuesto a los servicios públicos y hacer que sus modelos sean inútiles.
En consecuencia, optimizan los sistemas para priorizar la cobertura, lo que obliga a los modelos a operar en un estado en el que continúan generando alucinaciones de confianza.
Replantear las alucinaciones como errores de confianza
Para superar el impuesto a los servicios públicos, los investigadores proponen dejar de tratar cualquier error fáctico como una alucinación. En cambio, replantean las alucinaciones como «errores de confianza»: información incorrecta entregada con autoridad sin la calificación adecuada.
Este sutil replanteamiento disuelve la estricta dicotomía de «responder o abstenerse» y permite que el modelo exprese su incertidumbre.
En este nuevo marco, si un modelo comete un error factual pero protege adecuadamente su respuesta (por ejemplo, al afirmar: «No estoy completamente seguro, pero creo…»), no es una alucinación. Es simplemente una hipótesis que se ofrece al usuario para su consideración. Al expresar incertidumbre, la IA preserva su utilidad (compartiendo cualquier conocimiento parcial o probable que tenga) sin violar la confianza del usuario.
Sin embargo, si un asistente de IA cubre todas sus respuestas con un descargo de responsabilidad, el usuario se ve obligado a verificar todo dos veces, anulando por completo el propósito de la herramienta.
La solución que proponen los investigadores es la «incertidumbre fiel». Este enfoque requiere alinear la incertidumbre lingüística de un modelo, o las palabras que utiliza para expresar dudas, con su incertidumbre intrínseca, que es su confianza estadística interna real en esa respuesta específica. Esto garantiza que el modelo solo cubra cuando su estado interno refleje genuinamente información contradictoria o de baja probabilidad.
La incertidumbre fiel forma un componente central de la «metacognición», la capacidad de la IA para ser consciente de su propia incertidumbre y actuar en consecuencia. Para entender esto de manera práctica, considere el ejemplo intuitivo de consultar a un médico. No confiamos en los médicos porque lo saben todo. Confiamos en ellos porque distinguen de manera confiable entre un diagnóstico seguro («Tienes una fractura») y una hipótesis fundamentada («Puede ser un esguince, pero hagamos algunas pruebas»).
Implicaciones prácticas para la IA empresarial
Según el nuevo marco, los errores en los que un modelo es genuinamente seguro pero objetivamente incorrecto se clasifican como “errores honestos”. Esto presenta la expansión del conocimiento (entrenar el modelo con más datos) y la incertidumbre fiel como esfuerzos completamente complementarios. La expansión del conocimiento empuja el límite absoluto del conocimiento hacia afuera para minimizar los errores honestos, mientras que la incertidumbre fiel comunica honestamente dónde se encuentra ese límite actualmente.
Este nuevo marco tiene implicaciones importantes para las aplicaciones agentes. El cambio a la IA agente podría hacer que parezca redundante saber lo que el modelo no sabe, ya que los modelos simplemente pueden buscar en bases de datos externas. Sin embargo, el acceso a herramientas externas en realidad amplifica la necesidad de una incertidumbre fiel. En los sistemas agentes, la metacognición se convierte en la capa de control central que gobierna todo el sistema.
Las herramientas externas resuelven el problema del almacenamiento porque el modelo ya no necesita codificar cada hecho en sus parámetros. Sin embargo, esto introduce un nuevo problema de control: gestionar cuándo recuperar información, verificar hechos y orquestar estas herramientas externas. Sin una incertidumbre fiel, un agente esencialmente está volando a ciegas y debe confiar en heurísticas estáticas externas o andamios sobrediseñados.
«El modelo podría buscar algo que ya sabe con confianza, desperdiciando latencia y costos sin obtener ganancias. O lo contrario: responde con confianza desde la memoria cuando debería haber buscado, produciendo un resultado plausible pero incorrecto», dijo Yona. Los arneses de agentes actuales intentan resolver esto externamente con clasificadores de consultas o reglas de búsqueda constante, pero Yona señala que son «estáticos y frágiles». Al utilizar su incertidumbre intrínseca para regular su propio comportamiento, el agente optimiza dinámicamente el uso de su herramienta, eligiendo invocar una herramienta de búsqueda sólo cuando su confianza interna es genuinamente baja.
Más allá de decidir cuándo buscar, la incertidumbre fiel es fundamental para evaluar los resultados de una búsqueda. Si una herramienta devuelve información inesperada o de baja calidad, un agente metacognitivo no acepta ciegamente lo que aparece en su ventana contextual. En cambio, utiliza su conciencia de incertidumbre para sopesar las señales externas recuperadas con sus propios antecedentes internos. Esto evita un comportamiento adulador en el que el sistema podría confiar en fuentes externas que entran en conflicto con su conocimiento real conocido.
La paradoja del arranque: el truco de enseñar incertidumbre
Para los creadores de empresas, lograr esta fiel incertidumbre es más complicado de lo que parece. Requiere enseñar a los modelos la sintaxis de la incertidumbre mediante un ajuste fino supervisado (SFT). Debido a que los modelos previamente entrenados reciben en su mayoría texto autorizado, se les debe enseñar explícitamente a decir cosas como: «No estoy del todo seguro, pero creo que VentureBeat se fundó en…»
Pero la SFT introduce una «paradoja del arranque». A diferencia de los conjuntos de datos de entrenamiento estándar donde la «respuesta correcta» es la misma independientemente del modelo, la verdad fundamental para la incertidumbre es la propia base de conocimiento dinámico del modelo.
«Aquí está el truco: la expresión ‘correcta’ de la incertidumbre es inherentemente dinámica, porque depende de lo que este modelo particular sabe o no sabe en este punto particular del entrenamiento», dijo Yona. «Si entrenas con una etiqueta que dice ‘No sé X’ pero el modelo realmente conoce X, le has enseñado a alucinar la incertidumbre… Los datos de entrenamiento son estáticos, pero el objetivo es móvil, y esa es la tensión fundamental con la que deben lidiar los equipos».
El camino hacia una IA autoconsciente
Para las empresas que buscan implementar estas capacidades sin una costosa recapacitación, las indicaciones sirven como el punto de entrada más accesible. «La ingeniería rápida ya es algo que la mayoría de los ingenieros hacen hoy en día, esto proporciona el camino de menor fricción para mejorar el comportamiento metacognitivo en la actualidad», dijo Yona. Los desarrolladores empresariales pueden explorar marcos como metafeun proyecto de código abierto del que Yona fue coautor, para comenzar a aplicar indicaciones metacognitivas a modelos disponibles en el mercado.
Sin embargo, Yona advierte que «todavía hay un margen sustancial que la estimulación por sí sola no resuelve», lo que significa que la industria eventualmente necesitará depender del aprendizaje por refuerzo (RL) avanzado para integrar profundamente la metacognición en el entrenamiento de modelos.
En última instancia, a medida que las empresas pasen de aplicaciones de chat aisladas a flujos de trabajo complejos con múltiples agentes, la autoconciencia se convertirá en un requisito previo definitorio para una autonomía confiable. Pero evaluar si un modelo realmente posee esta conciencia sigue siendo un desafío técnico profundo.
«¿Cómo se evalúa realmente si un modelo puede detectar sus estados internos?» pregunta Yona. «Incluso en los seres humanos, es difícil definir o separar las ‘verdaderas’ capacidades de autocontrol de una confianza capaz en representantes. Nos enfrentamos exactamente a los mismos desafíos con los LLM: un modelo puede aprender a imitar el estilo de incertidumbre sin sentir realmente su estado interno. Desarrollar marcos de evaluación que puedan notar la diferencia es uno de los problemas abiertos más importantes en este espacio».
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
Los grandes modelos de lenguaje continúan luchando contra las alucinaciones, lo que presenta un obstáculo importante para las aplicaciones empresariales del mundo real. Reducir estos errores es una tarea complicada, que obliga a los desarrolladores de modelos a navegar por un equilibrio estricto en el que la eliminación de errores fácticos a menudo suprime las respuestas válidas.
en un papel nuevolos investigadores de Google introducen el concepto de «incertidumbre fiel», una técnica metacognitiva que alinea la respuesta de un modelo con su confianza interna. Esta alineación permite que el modelo ofrezca hipótesis adecuadamente protegidas, como «Mi mejor suposición es», en lugar de recurrir a un binario inútil de «responder o abstenerse».
En las aplicaciones de IA agente del mundo real, esta conciencia metacognitiva actúa como una capa de control esencial. Permite a los sistemas autónomos determinar con precisión cuándo su conocimiento interno es suficiente y cuándo deben activar dinámicamente herramientas externas o buscar API para resolver déficits.
El impuesto a los servicios públicos de las estrategias de mitigación actuales
Comprensión por qué los LLM alucinan Depende de separar dos capacidades: un modelo de conocer hechos versus saber lo que se sabe. Históricamente, la mayoría de las ganancias de factibilidad en la IA provienen de la expansión de los límites del conocimiento, lo que significa que los desarrolladores simplemente incluyen más datos en los parámetros del modelo a mayor escala y más datos de entrenamiento.
Sin embargo, ampliar el conocimiento de un modelo no mejora automáticamente su conciencia de los límites, que es su capacidad para distinguir lo conocido de lo desconocido y reconocer sus propias limitaciones.
«En términos generales, existen dos formas de mejorar la factualidad del LLM», dijo a VentureBeat Gal Yona, investigadora científica de Google y coautora del artículo. El primero es seguir enseñando más hechos al modelo. Pero, señala Yona, “la capacidad del modelo es finita y la larga cola de conocimiento es efectivamente infinita”.
Una vez que los modelos alcanzan este límite, la esperanza es que sepan lo que no saben y simplemente se abstengan de responder. Sin embargo, esto es intrínsecamente difícil para los LLM.
«Esta es la razón por la que la mayoría de los intentos prácticos de reducir las alucinaciones mediante diversas intervenciones no llegan a implementarse», explica Yona. «Reducen las alucinaciones, pero también perjudican la utilidad, porque el modelo termina negándose a responder preguntas que realmente sabe».
Esta incapacidad para distinguir entre lo conocido y lo desconocido crea lo que los autores del artículo llaman el «impuesto a los servicios públicos». Hacer cumplir un estándar de cero alucinaciones requiere que el modelo se abstenga siempre que sea ligeramente incierto, descartando volúmenes masivos de información completamente válida. Por ejemplo, los autores demuestran que reducir una tasa de error subyacente del 25% a un objetivo estricto del 5% obliga a los desarrolladores a descartar el 52% de las respuestas correctas del modelo.
Tratar todos los errores como alucinaciones obliga a los sistemas empresariales a elegir entre confiabilidad y utilidad. Los desarrolladores de aplicaciones generalmente no están dispuestos a pagar este enorme impuesto a los servicios públicos y hacer que sus modelos sean inútiles.
En consecuencia, optimizan los sistemas para priorizar la cobertura, lo que obliga a los modelos a operar en un estado en el que continúan generando alucinaciones de confianza.
Replantear las alucinaciones como errores de confianza
Para superar el impuesto a los servicios públicos, los investigadores proponen dejar de tratar cualquier error fáctico como una alucinación. En cambio, replantean las alucinaciones como «errores de confianza»: información incorrecta entregada con autoridad sin la calificación adecuada.
Este sutil replanteamiento disuelve la estricta dicotomía de «responder o abstenerse» y permite que el modelo exprese su incertidumbre.
En este nuevo marco, si un modelo comete un error factual pero protege adecuadamente su respuesta (por ejemplo, al afirmar: «No estoy completamente seguro, pero creo…»), no es una alucinación. Es simplemente una hipótesis que se ofrece al usuario para su consideración. Al expresar incertidumbre, la IA preserva su utilidad (compartiendo cualquier conocimiento parcial o probable que tenga) sin violar la confianza del usuario.
Sin embargo, si un asistente de IA cubre todas sus respuestas con un descargo de responsabilidad, el usuario se ve obligado a verificar todo dos veces, anulando por completo el propósito de la herramienta.
La solución que proponen los investigadores es la «incertidumbre fiel». Este enfoque requiere alinear la incertidumbre lingüística de un modelo, o las palabras que utiliza para expresar dudas, con su incertidumbre intrínseca, que es su confianza estadística interna real en esa respuesta específica. Esto garantiza que el modelo solo cubra cuando su estado interno refleje genuinamente información contradictoria o de baja probabilidad.
La incertidumbre fiel forma un componente central de la «metacognición», la capacidad de la IA para ser consciente de su propia incertidumbre y actuar en consecuencia. Para entender esto de manera práctica, considere el ejemplo intuitivo de consultar a un médico. No confiamos en los médicos porque lo saben todo. Confiamos en ellos porque distinguen de manera confiable entre un diagnóstico seguro («Tienes una fractura») y una hipótesis fundamentada («Puede ser un esguince, pero hagamos algunas pruebas»).
Implicaciones prácticas para la IA empresarial
Según el nuevo marco, los errores en los que un modelo es genuinamente seguro pero objetivamente incorrecto se clasifican como “errores honestos”. Esto presenta la expansión del conocimiento (entrenar el modelo con más datos) y la incertidumbre fiel como esfuerzos completamente complementarios. La expansión del conocimiento empuja el límite absoluto del conocimiento hacia afuera para minimizar los errores honestos, mientras que la incertidumbre fiel comunica honestamente dónde se encuentra ese límite actualmente.
Este nuevo marco tiene implicaciones importantes para las aplicaciones agentes. El cambio a la IA agente podría hacer que parezca redundante saber lo que el modelo no sabe, ya que los modelos simplemente pueden buscar en bases de datos externas. Sin embargo, el acceso a herramientas externas en realidad amplifica la necesidad de una incertidumbre fiel. En los sistemas agentes, la metacognición se convierte en la capa de control central que gobierna todo el sistema.
Las herramientas externas resuelven el problema del almacenamiento porque el modelo ya no necesita codificar cada hecho en sus parámetros. Sin embargo, esto introduce un nuevo problema de control: gestionar cuándo recuperar información, verificar hechos y orquestar estas herramientas externas. Sin una incertidumbre fiel, un agente esencialmente está volando a ciegas y debe confiar en heurísticas estáticas externas o andamios sobrediseñados.
«El modelo podría buscar algo que ya sabe con confianza, desperdiciando latencia y costos sin obtener ganancias. O lo contrario: responde con confianza desde la memoria cuando debería haber buscado, produciendo un resultado plausible pero incorrecto», dijo Yona. Los arneses de agentes actuales intentan resolver esto externamente con clasificadores de consultas o reglas de búsqueda constante, pero Yona señala que son «estáticos y frágiles». Al utilizar su incertidumbre intrínseca para regular su propio comportamiento, el agente optimiza dinámicamente el uso de su herramienta, eligiendo invocar una herramienta de búsqueda sólo cuando su confianza interna es genuinamente baja.
Más allá de decidir cuándo buscar, la incertidumbre fiel es fundamental para evaluar los resultados de una búsqueda. Si una herramienta devuelve información inesperada o de baja calidad, un agente metacognitivo no acepta ciegamente lo que aparece en su ventana contextual. En cambio, utiliza su conciencia de incertidumbre para sopesar las señales externas recuperadas con sus propios antecedentes internos. Esto evita un comportamiento adulador en el que el sistema podría confiar en fuentes externas que entran en conflicto con su conocimiento real conocido.
La paradoja del arranque: el truco de enseñar incertidumbre
Para los creadores de empresas, lograr esta fiel incertidumbre es más complicado de lo que parece. Requiere enseñar a los modelos la sintaxis de la incertidumbre mediante un ajuste fino supervisado (SFT). Debido a que los modelos previamente entrenados reciben en su mayoría texto autorizado, se les debe enseñar explícitamente a decir cosas como: «No estoy del todo seguro, pero creo que VentureBeat se fundó en…»
Pero la SFT introduce una «paradoja del arranque». A diferencia de los conjuntos de datos de entrenamiento estándar donde la «respuesta correcta» es la misma independientemente del modelo, la verdad fundamental para la incertidumbre es la propia base de conocimiento dinámico del modelo.
«Aquí está el truco: la expresión ‘correcta’ de la incertidumbre es inherentemente dinámica, porque depende de lo que este modelo particular sabe o no sabe en este punto particular del entrenamiento», dijo Yona. «Si entrenas con una etiqueta que dice ‘No sé X’ pero el modelo realmente conoce X, le has enseñado a alucinar la incertidumbre… Los datos de entrenamiento son estáticos, pero el objetivo es móvil, y esa es la tensión fundamental con la que deben lidiar los equipos».
El camino hacia una IA autoconsciente
Para las empresas que buscan implementar estas capacidades sin una costosa recapacitación, las indicaciones sirven como el punto de entrada más accesible. «La ingeniería rápida ya es algo que la mayoría de los ingenieros hacen hoy en día, esto proporciona el camino de menor fricción para mejorar el comportamiento metacognitivo en la actualidad», dijo Yona. Los desarrolladores empresariales pueden explorar marcos como metafeun proyecto de código abierto del que Yona fue coautor, para comenzar a aplicar indicaciones metacognitivas a modelos disponibles en el mercado.
Sin embargo, Yona advierte que «todavía hay un margen sustancial que la estimulación por sí sola no resuelve», lo que significa que la industria eventualmente necesitará depender del aprendizaje por refuerzo (RL) avanzado para integrar profundamente la metacognición en el entrenamiento de modelos.
En última instancia, a medida que las empresas pasen de aplicaciones de chat aisladas a flujos de trabajo complejos con múltiples agentes, la autoconciencia se convertirá en un requisito previo definitorio para una autonomía confiable. Pero evaluar si un modelo realmente posee esta conciencia sigue siendo un desafío técnico profundo.
«¿Cómo se evalúa realmente si un modelo puede detectar sus estados internos?» pregunta Yona. «Incluso en los seres humanos, es difícil definir o separar las ‘verdaderas’ capacidades de autocontrol de una confianza capaz en representantes. Nos enfrentamos exactamente a los mismos desafíos con los LLM: un modelo puede aprender a imitar el estilo de incertidumbre sin sentir realmente su estado interno. Desarrollar marcos de evaluación que puedan notar la diferencia es uno de los problemas abiertos más importantes en este espacio».
Los grandes modelos de lenguaje continúan luchando contra las alucinaciones, lo que presenta un obstáculo importante para las aplicaciones empresariales del mundo real. Reducir estos errores es una tarea complicada, que obliga a los desarrolladores de modelos a navegar por un equilibrio estricto en el que la eliminación de errores fácticos a menudo suprime las respuestas válidas.
en un papel nuevolos investigadores de Google introducen el concepto de «incertidumbre fiel», una técnica metacognitiva que alinea la respuesta de un modelo con su confianza interna. Esta alineación permite que el modelo ofrezca hipótesis adecuadamente protegidas, como «Mi mejor suposición es», en lugar de recurrir a un binario inútil de «responder o abstenerse».
En las aplicaciones de IA agente del mundo real, esta conciencia metacognitiva actúa como una capa de control esencial. Permite a los sistemas autónomos determinar con precisión cuándo su conocimiento interno es suficiente y cuándo deben activar dinámicamente herramientas externas o buscar API para resolver déficits.
El impuesto a los servicios públicos de las estrategias de mitigación actuales
Comprensión por qué los LLM alucinan Depende de separar dos capacidades: un modelo de conocer hechos versus saber lo que se sabe. Históricamente, la mayoría de las ganancias de factibilidad en la IA provienen de la expansión de los límites del conocimiento, lo que significa que los desarrolladores simplemente incluyen más datos en los parámetros del modelo a mayor escala y más datos de entrenamiento.
Sin embargo, ampliar el conocimiento de un modelo no mejora automáticamente su conciencia de los límites, que es su capacidad para distinguir lo conocido de lo desconocido y reconocer sus propias limitaciones.
«En términos generales, existen dos formas de mejorar la factualidad del LLM», dijo a VentureBeat Gal Yona, investigadora científica de Google y coautora del artículo. El primero es seguir enseñando más hechos al modelo. Pero, señala Yona, “la capacidad del modelo es finita y la larga cola de conocimiento es efectivamente infinita”.
Una vez que los modelos alcanzan este límite, la esperanza es que sepan lo que no saben y simplemente se abstengan de responder. Sin embargo, esto es intrínsecamente difícil para los LLM.
«Esta es la razón por la que la mayoría de los intentos prácticos de reducir las alucinaciones mediante diversas intervenciones no llegan a implementarse», explica Yona. «Reducen las alucinaciones, pero también perjudican la utilidad, porque el modelo termina negándose a responder preguntas que realmente sabe».
Esta incapacidad para distinguir entre lo conocido y lo desconocido crea lo que los autores del artículo llaman el «impuesto a los servicios públicos». Hacer cumplir un estándar de cero alucinaciones requiere que el modelo se abstenga siempre que sea ligeramente incierto, descartando volúmenes masivos de información completamente válida. Por ejemplo, los autores demuestran que reducir una tasa de error subyacente del 25% a un objetivo estricto del 5% obliga a los desarrolladores a descartar el 52% de las respuestas correctas del modelo.
Tratar todos los errores como alucinaciones obliga a los sistemas empresariales a elegir entre confiabilidad y utilidad. Los desarrolladores de aplicaciones generalmente no están dispuestos a pagar este enorme impuesto a los servicios públicos y hacer que sus modelos sean inútiles.
En consecuencia, optimizan los sistemas para priorizar la cobertura, lo que obliga a los modelos a operar en un estado en el que continúan generando alucinaciones de confianza.
Replantear las alucinaciones como errores de confianza
Para superar el impuesto a los servicios públicos, los investigadores proponen dejar de tratar cualquier error fáctico como una alucinación. En cambio, replantean las alucinaciones como «errores de confianza»: información incorrecta entregada con autoridad sin la calificación adecuada.
Este sutil replanteamiento disuelve la estricta dicotomía de «responder o abstenerse» y permite que el modelo exprese su incertidumbre.
En este nuevo marco, si un modelo comete un error factual pero protege adecuadamente su respuesta (por ejemplo, al afirmar: «No estoy completamente seguro, pero creo…»), no es una alucinación. Es simplemente una hipótesis que se ofrece al usuario para su consideración. Al expresar incertidumbre, la IA preserva su utilidad (compartiendo cualquier conocimiento parcial o probable que tenga) sin violar la confianza del usuario.
Sin embargo, si un asistente de IA cubre todas sus respuestas con un descargo de responsabilidad, el usuario se ve obligado a verificar todo dos veces, anulando por completo el propósito de la herramienta.
La solución que proponen los investigadores es la «incertidumbre fiel». Este enfoque requiere alinear la incertidumbre lingüística de un modelo, o las palabras que utiliza para expresar dudas, con su incertidumbre intrínseca, que es su confianza estadística interna real en esa respuesta específica. Esto garantiza que el modelo solo cubra cuando su estado interno refleje genuinamente información contradictoria o de baja probabilidad.
La incertidumbre fiel forma un componente central de la «metacognición», la capacidad de la IA para ser consciente de su propia incertidumbre y actuar en consecuencia. Para entender esto de manera práctica, considere el ejemplo intuitivo de consultar a un médico. No confiamos en los médicos porque lo saben todo. Confiamos en ellos porque distinguen de manera confiable entre un diagnóstico seguro («Tienes una fractura») y una hipótesis fundamentada («Puede ser un esguince, pero hagamos algunas pruebas»).
Implicaciones prácticas para la IA empresarial
Según el nuevo marco, los errores en los que un modelo es genuinamente seguro pero objetivamente incorrecto se clasifican como “errores honestos”. Esto presenta la expansión del conocimiento (entrenar el modelo con más datos) y la incertidumbre fiel como esfuerzos completamente complementarios. La expansión del conocimiento empuja el límite absoluto del conocimiento hacia afuera para minimizar los errores honestos, mientras que la incertidumbre fiel comunica honestamente dónde se encuentra ese límite actualmente.
Este nuevo marco tiene implicaciones importantes para las aplicaciones agentes. El cambio a la IA agente podría hacer que parezca redundante saber lo que el modelo no sabe, ya que los modelos simplemente pueden buscar en bases de datos externas. Sin embargo, el acceso a herramientas externas en realidad amplifica la necesidad de una incertidumbre fiel. En los sistemas agentes, la metacognición se convierte en la capa de control central que gobierna todo el sistema.
Las herramientas externas resuelven el problema del almacenamiento porque el modelo ya no necesita codificar cada hecho en sus parámetros. Sin embargo, esto introduce un nuevo problema de control: gestionar cuándo recuperar información, verificar hechos y orquestar estas herramientas externas. Sin una incertidumbre fiel, un agente esencialmente está volando a ciegas y debe confiar en heurísticas estáticas externas o andamios sobrediseñados.
«El modelo podría buscar algo que ya sabe con confianza, desperdiciando latencia y costos sin obtener ganancias. O lo contrario: responde con confianza desde la memoria cuando debería haber buscado, produciendo un resultado plausible pero incorrecto», dijo Yona. Los arneses de agentes actuales intentan resolver esto externamente con clasificadores de consultas o reglas de búsqueda constante, pero Yona señala que son «estáticos y frágiles». Al utilizar su incertidumbre intrínseca para regular su propio comportamiento, el agente optimiza dinámicamente el uso de su herramienta, eligiendo invocar una herramienta de búsqueda sólo cuando su confianza interna es genuinamente baja.
Más allá de decidir cuándo buscar, la incertidumbre fiel es fundamental para evaluar los resultados de una búsqueda. Si una herramienta devuelve información inesperada o de baja calidad, un agente metacognitivo no acepta ciegamente lo que aparece en su ventana contextual. En cambio, utiliza su conciencia de incertidumbre para sopesar las señales externas recuperadas con sus propios antecedentes internos. Esto evita un comportamiento adulador en el que el sistema podría confiar en fuentes externas que entran en conflicto con su conocimiento real conocido.
La paradoja del arranque: el truco de enseñar incertidumbre
Para los creadores de empresas, lograr esta fiel incertidumbre es más complicado de lo que parece. Requiere enseñar a los modelos la sintaxis de la incertidumbre mediante un ajuste fino supervisado (SFT). Debido a que los modelos previamente entrenados reciben en su mayoría texto autorizado, se les debe enseñar explícitamente a decir cosas como: «No estoy del todo seguro, pero creo que VentureBeat se fundó en…»
Pero la SFT introduce una «paradoja del arranque». A diferencia de los conjuntos de datos de entrenamiento estándar donde la «respuesta correcta» es la misma independientemente del modelo, la verdad fundamental para la incertidumbre es la propia base de conocimiento dinámico del modelo.
«Aquí está el truco: la expresión ‘correcta’ de la incertidumbre es inherentemente dinámica, porque depende de lo que este modelo particular sabe o no sabe en este punto particular del entrenamiento», dijo Yona. «Si entrenas con una etiqueta que dice ‘No sé X’ pero el modelo realmente conoce X, le has enseñado a alucinar la incertidumbre… Los datos de entrenamiento son estáticos, pero el objetivo es móvil, y esa es la tensión fundamental con la que deben lidiar los equipos».
El camino hacia una IA autoconsciente
Para las empresas que buscan implementar estas capacidades sin una costosa recapacitación, las indicaciones sirven como el punto de entrada más accesible. «La ingeniería rápida ya es algo que la mayoría de los ingenieros hacen hoy en día, esto proporciona el camino de menor fricción para mejorar el comportamiento metacognitivo en la actualidad», dijo Yona. Los desarrolladores empresariales pueden explorar marcos como metafeun proyecto de código abierto del que Yona fue coautor, para comenzar a aplicar indicaciones metacognitivas a modelos disponibles en el mercado.
Sin embargo, Yona advierte que «todavía hay un margen sustancial que la estimulación por sí sola no resuelve», lo que significa que la industria eventualmente necesitará depender del aprendizaje por refuerzo (RL) avanzado para integrar profundamente la metacognición en el entrenamiento de modelos.
En última instancia, a medida que las empresas pasen de aplicaciones de chat aisladas a flujos de trabajo complejos con múltiples agentes, la autoconciencia se convertirá en un requisito previo definitorio para una autonomía confiable. Pero evaluar si un modelo realmente posee esta conciencia sigue siendo un desafío técnico profundo.
«¿Cómo se evalúa realmente si un modelo puede detectar sus estados internos?» pregunta Yona. «Incluso en los seres humanos, es difícil definir o separar las ‘verdaderas’ capacidades de autocontrol de una confianza capaz en representantes. Nos enfrentamos exactamente a los mismos desafíos con los LLM: un modelo puede aprender a imitar el estilo de incertidumbre sin sentir realmente su estado interno. Desarrollar marcos de evaluación que puedan notar la diferencia es uno de los problemas abiertos más importantes en este espacio».
Los grandes modelos de lenguaje continúan luchando contra las alucinaciones, lo que presenta un obstáculo importante para las aplicaciones empresariales del mundo real. Reducir estos errores es una tarea complicada, que obliga a los desarrolladores de modelos a navegar por un equilibrio estricto en el que la eliminación de errores fácticos a menudo suprime las respuestas válidas.
en un papel nuevolos investigadores de Google introducen el concepto de «incertidumbre fiel», una técnica metacognitiva que alinea la respuesta de un modelo con su confianza interna. Esta alineación permite que el modelo ofrezca hipótesis adecuadamente protegidas, como «Mi mejor suposición es», en lugar de recurrir a un binario inútil de «responder o abstenerse».
En las aplicaciones de IA agente del mundo real, esta conciencia metacognitiva actúa como una capa de control esencial. Permite a los sistemas autónomos determinar con precisión cuándo su conocimiento interno es suficiente y cuándo deben activar dinámicamente herramientas externas o buscar API para resolver déficits.
El impuesto a los servicios públicos de las estrategias de mitigación actuales
Comprensión por qué los LLM alucinan Depende de separar dos capacidades: un modelo de conocer hechos versus saber lo que se sabe. Históricamente, la mayoría de las ganancias de factibilidad en la IA provienen de la expansión de los límites del conocimiento, lo que significa que los desarrolladores simplemente incluyen más datos en los parámetros del modelo a mayor escala y más datos de entrenamiento.
Sin embargo, ampliar el conocimiento de un modelo no mejora automáticamente su conciencia de los límites, que es su capacidad para distinguir lo conocido de lo desconocido y reconocer sus propias limitaciones.
«En términos generales, existen dos formas de mejorar la factualidad del LLM», dijo a VentureBeat Gal Yona, investigadora científica de Google y coautora del artículo. El primero es seguir enseñando más hechos al modelo. Pero, señala Yona, “la capacidad del modelo es finita y la larga cola de conocimiento es efectivamente infinita”.
Una vez que los modelos alcanzan este límite, la esperanza es que sepan lo que no saben y simplemente se abstengan de responder. Sin embargo, esto es intrínsecamente difícil para los LLM.
«Esta es la razón por la que la mayoría de los intentos prácticos de reducir las alucinaciones mediante diversas intervenciones no llegan a implementarse», explica Yona. «Reducen las alucinaciones, pero también perjudican la utilidad, porque el modelo termina negándose a responder preguntas que realmente sabe».
Esta incapacidad para distinguir entre lo conocido y lo desconocido crea lo que los autores del artículo llaman el «impuesto a los servicios públicos». Hacer cumplir un estándar de cero alucinaciones requiere que el modelo se abstenga siempre que sea ligeramente incierto, descartando volúmenes masivos de información completamente válida. Por ejemplo, los autores demuestran que reducir una tasa de error subyacente del 25% a un objetivo estricto del 5% obliga a los desarrolladores a descartar el 52% de las respuestas correctas del modelo.
Tratar todos los errores como alucinaciones obliga a los sistemas empresariales a elegir entre confiabilidad y utilidad. Los desarrolladores de aplicaciones generalmente no están dispuestos a pagar este enorme impuesto a los servicios públicos y hacer que sus modelos sean inútiles.
En consecuencia, optimizan los sistemas para priorizar la cobertura, lo que obliga a los modelos a operar en un estado en el que continúan generando alucinaciones de confianza.
Replantear las alucinaciones como errores de confianza
Para superar el impuesto a los servicios públicos, los investigadores proponen dejar de tratar cualquier error fáctico como una alucinación. En cambio, replantean las alucinaciones como «errores de confianza»: información incorrecta entregada con autoridad sin la calificación adecuada.
Este sutil replanteamiento disuelve la estricta dicotomía de «responder o abstenerse» y permite que el modelo exprese su incertidumbre.
En este nuevo marco, si un modelo comete un error factual pero protege adecuadamente su respuesta (por ejemplo, al afirmar: «No estoy completamente seguro, pero creo…»), no es una alucinación. Es simplemente una hipótesis que se ofrece al usuario para su consideración. Al expresar incertidumbre, la IA preserva su utilidad (compartiendo cualquier conocimiento parcial o probable que tenga) sin violar la confianza del usuario.
Sin embargo, si un asistente de IA cubre todas sus respuestas con un descargo de responsabilidad, el usuario se ve obligado a verificar todo dos veces, anulando por completo el propósito de la herramienta.
La solución que proponen los investigadores es la «incertidumbre fiel». Este enfoque requiere alinear la incertidumbre lingüística de un modelo, o las palabras que utiliza para expresar dudas, con su incertidumbre intrínseca, que es su confianza estadística interna real en esa respuesta específica. Esto garantiza que el modelo solo cubra cuando su estado interno refleje genuinamente información contradictoria o de baja probabilidad.
La incertidumbre fiel forma un componente central de la «metacognición», la capacidad de la IA para ser consciente de su propia incertidumbre y actuar en consecuencia. Para entender esto de manera práctica, considere el ejemplo intuitivo de consultar a un médico. No confiamos en los médicos porque lo saben todo. Confiamos en ellos porque distinguen de manera confiable entre un diagnóstico seguro («Tienes una fractura») y una hipótesis fundamentada («Puede ser un esguince, pero hagamos algunas pruebas»).
Implicaciones prácticas para la IA empresarial
Según el nuevo marco, los errores en los que un modelo es genuinamente seguro pero objetivamente incorrecto se clasifican como “errores honestos”. Esto presenta la expansión del conocimiento (entrenar el modelo con más datos) y la incertidumbre fiel como esfuerzos completamente complementarios. La expansión del conocimiento empuja el límite absoluto del conocimiento hacia afuera para minimizar los errores honestos, mientras que la incertidumbre fiel comunica honestamente dónde se encuentra ese límite actualmente.
Este nuevo marco tiene implicaciones importantes para las aplicaciones agentes. El cambio a la IA agente podría hacer que parezca redundante saber lo que el modelo no sabe, ya que los modelos simplemente pueden buscar en bases de datos externas. Sin embargo, el acceso a herramientas externas en realidad amplifica la necesidad de una incertidumbre fiel. En los sistemas agentes, la metacognición se convierte en la capa de control central que gobierna todo el sistema.
Las herramientas externas resuelven el problema del almacenamiento porque el modelo ya no necesita codificar cada hecho en sus parámetros. Sin embargo, esto introduce un nuevo problema de control: gestionar cuándo recuperar información, verificar hechos y orquestar estas herramientas externas. Sin una incertidumbre fiel, un agente esencialmente está volando a ciegas y debe confiar en heurísticas estáticas externas o andamios sobrediseñados.
«El modelo podría buscar algo que ya sabe con confianza, desperdiciando latencia y costos sin obtener ganancias. O lo contrario: responde con confianza desde la memoria cuando debería haber buscado, produciendo un resultado plausible pero incorrecto», dijo Yona. Los arneses de agentes actuales intentan resolver esto externamente con clasificadores de consultas o reglas de búsqueda constante, pero Yona señala que son «estáticos y frágiles». Al utilizar su incertidumbre intrínseca para regular su propio comportamiento, el agente optimiza dinámicamente el uso de su herramienta, eligiendo invocar una herramienta de búsqueda sólo cuando su confianza interna es genuinamente baja.
Más allá de decidir cuándo buscar, la incertidumbre fiel es fundamental para evaluar los resultados de una búsqueda. Si una herramienta devuelve información inesperada o de baja calidad, un agente metacognitivo no acepta ciegamente lo que aparece en su ventana contextual. En cambio, utiliza su conciencia de incertidumbre para sopesar las señales externas recuperadas con sus propios antecedentes internos. Esto evita un comportamiento adulador en el que el sistema podría confiar en fuentes externas que entran en conflicto con su conocimiento real conocido.
La paradoja del arranque: el truco de enseñar incertidumbre
Para los creadores de empresas, lograr esta fiel incertidumbre es más complicado de lo que parece. Requiere enseñar a los modelos la sintaxis de la incertidumbre mediante un ajuste fino supervisado (SFT). Debido a que los modelos previamente entrenados reciben en su mayoría texto autorizado, se les debe enseñar explícitamente a decir cosas como: «No estoy del todo seguro, pero creo que VentureBeat se fundó en…»
Pero la SFT introduce una «paradoja del arranque». A diferencia de los conjuntos de datos de entrenamiento estándar donde la «respuesta correcta» es la misma independientemente del modelo, la verdad fundamental para la incertidumbre es la propia base de conocimiento dinámico del modelo.
«Aquí está el truco: la expresión ‘correcta’ de la incertidumbre es inherentemente dinámica, porque depende de lo que este modelo particular sabe o no sabe en este punto particular del entrenamiento», dijo Yona. «Si entrenas con una etiqueta que dice ‘No sé X’ pero el modelo realmente conoce X, le has enseñado a alucinar la incertidumbre… Los datos de entrenamiento son estáticos, pero el objetivo es móvil, y esa es la tensión fundamental con la que deben lidiar los equipos».
El camino hacia una IA autoconsciente
Para las empresas que buscan implementar estas capacidades sin una costosa recapacitación, las indicaciones sirven como el punto de entrada más accesible. «La ingeniería rápida ya es algo que la mayoría de los ingenieros hacen hoy en día, esto proporciona el camino de menor fricción para mejorar el comportamiento metacognitivo en la actualidad», dijo Yona. Los desarrolladores empresariales pueden explorar marcos como metafeun proyecto de código abierto del que Yona fue coautor, para comenzar a aplicar indicaciones metacognitivas a modelos disponibles en el mercado.
Sin embargo, Yona advierte que «todavía hay un margen sustancial que la estimulación por sí sola no resuelve», lo que significa que la industria eventualmente necesitará depender del aprendizaje por refuerzo (RL) avanzado para integrar profundamente la metacognición en el entrenamiento de modelos.
En última instancia, a medida que las empresas pasen de aplicaciones de chat aisladas a flujos de trabajo complejos con múltiples agentes, la autoconciencia se convertirá en un requisito previo definitorio para una autonomía confiable. Pero evaluar si un modelo realmente posee esta conciencia sigue siendo un desafío técnico profundo.
«¿Cómo se evalúa realmente si un modelo puede detectar sus estados internos?» pregunta Yona. «Incluso en los seres humanos, es difícil definir o separar las ‘verdaderas’ capacidades de autocontrol de una confianza capaz en representantes. Nos enfrentamos exactamente a los mismos desafíos con los LLM: un modelo puede aprender a imitar el estilo de incertidumbre sin sentir realmente su estado interno. Desarrollar marcos de evaluación que puedan notar la diferencia es uno de los problemas abiertos más importantes en este espacio».
Los grandes modelos de lenguaje continúan luchando contra las alucinaciones, lo que presenta un obstáculo importante para las aplicaciones empresariales del mundo real. Reducir estos errores es una tarea complicada, que obliga a los desarrolladores de modelos a navegar por un equilibrio estricto en el que la eliminación de errores fácticos a menudo suprime las respuestas válidas.
en un papel nuevolos investigadores de Google introducen el concepto de «incertidumbre fiel», una técnica metacognitiva que alinea la respuesta de un modelo con su confianza interna. Esta alineación permite que el modelo ofrezca hipótesis adecuadamente protegidas, como «Mi mejor suposición es», en lugar de recurrir a un binario inútil de «responder o abstenerse».
En las aplicaciones de IA agente del mundo real, esta conciencia metacognitiva actúa como una capa de control esencial. Permite a los sistemas autónomos determinar con precisión cuándo su conocimiento interno es suficiente y cuándo deben activar dinámicamente herramientas externas o buscar API para resolver déficits.
El impuesto a los servicios públicos de las estrategias de mitigación actuales
Comprensión por qué los LLM alucinan Depende de separar dos capacidades: un modelo de conocer hechos versus saber lo que se sabe. Históricamente, la mayoría de las ganancias de factibilidad en la IA provienen de la expansión de los límites del conocimiento, lo que significa que los desarrolladores simplemente incluyen más datos en los parámetros del modelo a mayor escala y más datos de entrenamiento.
Sin embargo, ampliar el conocimiento de un modelo no mejora automáticamente su conciencia de los límites, que es su capacidad para distinguir lo conocido de lo desconocido y reconocer sus propias limitaciones.
«En términos generales, existen dos formas de mejorar la factualidad del LLM», dijo a VentureBeat Gal Yona, investigadora científica de Google y coautora del artículo. El primero es seguir enseñando más hechos al modelo. Pero, señala Yona, “la capacidad del modelo es finita y la larga cola de conocimiento es efectivamente infinita”.
Una vez que los modelos alcanzan este límite, la esperanza es que sepan lo que no saben y simplemente se abstengan de responder. Sin embargo, esto es intrínsecamente difícil para los LLM.
«Esta es la razón por la que la mayoría de los intentos prácticos de reducir las alucinaciones mediante diversas intervenciones no llegan a implementarse», explica Yona. «Reducen las alucinaciones, pero también perjudican la utilidad, porque el modelo termina negándose a responder preguntas que realmente sabe».
Esta incapacidad para distinguir entre lo conocido y lo desconocido crea lo que los autores del artículo llaman el «impuesto a los servicios públicos». Hacer cumplir un estándar de cero alucinaciones requiere que el modelo se abstenga siempre que sea ligeramente incierto, descartando volúmenes masivos de información completamente válida. Por ejemplo, los autores demuestran que reducir una tasa de error subyacente del 25% a un objetivo estricto del 5% obliga a los desarrolladores a descartar el 52% de las respuestas correctas del modelo.
Tratar todos los errores como alucinaciones obliga a los sistemas empresariales a elegir entre confiabilidad y utilidad. Los desarrolladores de aplicaciones generalmente no están dispuestos a pagar este enorme impuesto a los servicios públicos y hacer que sus modelos sean inútiles.
En consecuencia, optimizan los sistemas para priorizar la cobertura, lo que obliga a los modelos a operar en un estado en el que continúan generando alucinaciones de confianza.
Replantear las alucinaciones como errores de confianza
Para superar el impuesto a los servicios públicos, los investigadores proponen dejar de tratar cualquier error fáctico como una alucinación. En cambio, replantean las alucinaciones como «errores de confianza»: información incorrecta entregada con autoridad sin la calificación adecuada.
Este sutil replanteamiento disuelve la estricta dicotomía de «responder o abstenerse» y permite que el modelo exprese su incertidumbre.
En este nuevo marco, si un modelo comete un error factual pero protege adecuadamente su respuesta (por ejemplo, al afirmar: «No estoy completamente seguro, pero creo…»), no es una alucinación. Es simplemente una hipótesis que se ofrece al usuario para su consideración. Al expresar incertidumbre, la IA preserva su utilidad (compartiendo cualquier conocimiento parcial o probable que tenga) sin violar la confianza del usuario.
Sin embargo, si un asistente de IA cubre todas sus respuestas con un descargo de responsabilidad, el usuario se ve obligado a verificar todo dos veces, anulando por completo el propósito de la herramienta.
La solución que proponen los investigadores es la «incertidumbre fiel». Este enfoque requiere alinear la incertidumbre lingüística de un modelo, o las palabras que utiliza para expresar dudas, con su incertidumbre intrínseca, que es su confianza estadística interna real en esa respuesta específica. Esto garantiza que el modelo solo cubra cuando su estado interno refleje genuinamente información contradictoria o de baja probabilidad.
La incertidumbre fiel forma un componente central de la «metacognición», la capacidad de la IA para ser consciente de su propia incertidumbre y actuar en consecuencia. Para entender esto de manera práctica, considere el ejemplo intuitivo de consultar a un médico. No confiamos en los médicos porque lo saben todo. Confiamos en ellos porque distinguen de manera confiable entre un diagnóstico seguro («Tienes una fractura») y una hipótesis fundamentada («Puede ser un esguince, pero hagamos algunas pruebas»).
Implicaciones prácticas para la IA empresarial
Según el nuevo marco, los errores en los que un modelo es genuinamente seguro pero objetivamente incorrecto se clasifican como “errores honestos”. Esto presenta la expansión del conocimiento (entrenar el modelo con más datos) y la incertidumbre fiel como esfuerzos completamente complementarios. La expansión del conocimiento empuja el límite absoluto del conocimiento hacia afuera para minimizar los errores honestos, mientras que la incertidumbre fiel comunica honestamente dónde se encuentra ese límite actualmente.
Este nuevo marco tiene implicaciones importantes para las aplicaciones agentes. El cambio a la IA agente podría hacer que parezca redundante saber lo que el modelo no sabe, ya que los modelos simplemente pueden buscar en bases de datos externas. Sin embargo, el acceso a herramientas externas en realidad amplifica la necesidad de una incertidumbre fiel. En los sistemas agentes, la metacognición se convierte en la capa de control central que gobierna todo el sistema.
Las herramientas externas resuelven el problema del almacenamiento porque el modelo ya no necesita codificar cada hecho en sus parámetros. Sin embargo, esto introduce un nuevo problema de control: gestionar cuándo recuperar información, verificar hechos y orquestar estas herramientas externas. Sin una incertidumbre fiel, un agente esencialmente está volando a ciegas y debe confiar en heurísticas estáticas externas o andamios sobrediseñados.
«El modelo podría buscar algo que ya sabe con confianza, desperdiciando latencia y costos sin obtener ganancias. O lo contrario: responde con confianza desde la memoria cuando debería haber buscado, produciendo un resultado plausible pero incorrecto», dijo Yona. Los arneses de agentes actuales intentan resolver esto externamente con clasificadores de consultas o reglas de búsqueda constante, pero Yona señala que son «estáticos y frágiles». Al utilizar su incertidumbre intrínseca para regular su propio comportamiento, el agente optimiza dinámicamente el uso de su herramienta, eligiendo invocar una herramienta de búsqueda sólo cuando su confianza interna es genuinamente baja.
Más allá de decidir cuándo buscar, la incertidumbre fiel es fundamental para evaluar los resultados de una búsqueda. Si una herramienta devuelve información inesperada o de baja calidad, un agente metacognitivo no acepta ciegamente lo que aparece en su ventana contextual. En cambio, utiliza su conciencia de incertidumbre para sopesar las señales externas recuperadas con sus propios antecedentes internos. Esto evita un comportamiento adulador en el que el sistema podría confiar en fuentes externas que entran en conflicto con su conocimiento real conocido.
La paradoja del arranque: el truco de enseñar incertidumbre
Para los creadores de empresas, lograr esta fiel incertidumbre es más complicado de lo que parece. Requiere enseñar a los modelos la sintaxis de la incertidumbre mediante un ajuste fino supervisado (SFT). Debido a que los modelos previamente entrenados reciben en su mayoría texto autorizado, se les debe enseñar explícitamente a decir cosas como: «No estoy del todo seguro, pero creo que VentureBeat se fundó en…»
Pero la SFT introduce una «paradoja del arranque». A diferencia de los conjuntos de datos de entrenamiento estándar donde la «respuesta correcta» es la misma independientemente del modelo, la verdad fundamental para la incertidumbre es la propia base de conocimiento dinámico del modelo.
«Aquí está el truco: la expresión ‘correcta’ de la incertidumbre es inherentemente dinámica, porque depende de lo que este modelo particular sabe o no sabe en este punto particular del entrenamiento», dijo Yona. «Si entrenas con una etiqueta que dice ‘No sé X’ pero el modelo realmente conoce X, le has enseñado a alucinar la incertidumbre… Los datos de entrenamiento son estáticos, pero el objetivo es móvil, y esa es la tensión fundamental con la que deben lidiar los equipos».
El camino hacia una IA autoconsciente
Para las empresas que buscan implementar estas capacidades sin una costosa recapacitación, las indicaciones sirven como el punto de entrada más accesible. «La ingeniería rápida ya es algo que la mayoría de los ingenieros hacen hoy en día, esto proporciona el camino de menor fricción para mejorar el comportamiento metacognitivo en la actualidad», dijo Yona. Los desarrolladores empresariales pueden explorar marcos como metafeun proyecto de código abierto del que Yona fue coautor, para comenzar a aplicar indicaciones metacognitivas a modelos disponibles en el mercado.
Sin embargo, Yona advierte que «todavía hay un margen sustancial que la estimulación por sí sola no resuelve», lo que significa que la industria eventualmente necesitará depender del aprendizaje por refuerzo (RL) avanzado para integrar profundamente la metacognición en el entrenamiento de modelos.
En última instancia, a medida que las empresas pasen de aplicaciones de chat aisladas a flujos de trabajo complejos con múltiples agentes, la autoconciencia se convertirá en un requisito previo definitorio para una autonomía confiable. Pero evaluar si un modelo realmente posee esta conciencia sigue siendo un desafío técnico profundo.
«¿Cómo se evalúa realmente si un modelo puede detectar sus estados internos?» pregunta Yona. «Incluso en los seres humanos, es difícil definir o separar las ‘verdaderas’ capacidades de autocontrol de una confianza capaz en representantes. Nos enfrentamos exactamente a los mismos desafíos con los LLM: un modelo puede aprender a imitar el estilo de incertidumbre sin sentir realmente su estado interno. Desarrollar marcos de evaluación que puedan notar la diferencia es uno de los problemas abiertos más importantes en este espacio».
