No todas las empresas pueden o deben crear su propio modelo de lenguaje de IA de vanguardia. Sin embargo, el aprovechar controlar el modelo es algo que la mayoría de las empresas pueden y debería personalizar de acuerdo con sus objetivos específicos.
Por supuesto, es más fácil decirlo que hacerlo. ALos arneses de los hombres todavía se ajustan en gran medida mediante depuración manual y ad hoc, un proceso que depende en gran medida de la intuición en lugar de circuitos de retroalimentación sistemáticos, lo que dificulta mantenerse al día con la rápida evolución de los LLM.
Para resolver este desafío, investigadores del Laboratorio de Inteligencia Artificial de Shanghai introdujeron el “Self-Harness”, un nuevo paradigma en el que un agente basado en LLM mejora sistemáticamente sus propias reglas operativas. Al examinar sus propios rastros de ejecución para aplicar cambios, el sistema intercambia conjeturas manuales por evidencia empírica.
Los arneses de mejora automática pueden permitir a los equipos de desarrollo implementar agentes personalizados sólidos que adapten continuamente sus propios protocolos de ejecución para superar las debilidades específicas del modelo.
El desafío de la ingeniería de arneses
El desempeño de un agente basado en LLM no está determinado solo por su modelo base subyacente, sino también por su aprovechamiento: el sistema circundante que proporciona contexto y permite que el modelo interactúe con el entorno. Un arnés incluye componentes como indicaciones del sistema, herramientas, memoria, reglas de verificación, políticas de ejecución, lógica de orquestación y procedimientos de recuperación de fallas.
Esta capa es crucial porque muchas fallas comunes de los agentes provienen del arnés y no del modelo. Por ejemplo, un agente puede informar el éxito sin verificar la respuesta del modelo (por ejemplo, ejecutar el código para ver si pasa las pruebas) o puede volver a intentar una acción que falló varias veces. El arnés también es responsable de evitar la degradación o sobrecarga del contexto cuando el historial de interacción del agente se vuelve muy grande. Ejemplos de arneses populares incluyen SWE-agent, Claude Code, Codex y OpenHands.
La ingeniería de arneses sigue siendo un desafío importante, pero el cuello de botella no se debe necesariamente a que los humanos sean demasiado lentos o incapaces.
De hecho, Hangfan Zhang, autor principal del artículo Self-Harness, dijo a VentureBeat que «en muchos casos, un ingeniero experimentado con un profundo conocimiento del dominio aún puede generar mejores cambios que los que puede lograr un LLM en la actualidad».
En cambio, el verdadero cuello de botella de la ingeniería manual es que depende en gran medida de la depuración ad hoc en lugar de un circuito de retroalimentación empírica verificable. «El problema más profundo es que el paradigma actual de ingeniería de arneses a menudo carece de un circuito de retroalimentación sistemático», explicó Zhang. «Muchos cambios se realizan basándose en la intuición, algunos fallos observados o una depuración ad hoc».
Con el rápido lanzamiento de nuevos modelos, se está volviendo cada vez más costoso e insostenible depender de la intuición humana para ajustar manualmente los arneses específicos del modelo. Aunque algunos enfoques utilizan modelos más sólidos para mejorar las capacidades de los agentes objetivo más débiles, esta dependencia de la orientación externa presenta sus propios desafíos, ya que estos modelos pueden ser costosos, no estar disponibles para los modelos de frontera o pueden no coincidir con los modos de falla del modelo objetivo.
¿Cómo funciona el autoarnés?
El paradigma Self-Harness permite a un agente basado en LLM mejorar su propio aprovechamiento sin depender de ingenieros humanos o modelos externos más potentes.
Esta autoevolución continua está impulsada por un ciclo iterativo de tres pasos que transforma la evidencia de comportamiento en actualizaciones operativas:
-
Exploración de debilidades: A partir de un aprovechamiento inicial, el agente ejecuta un conjunto de tareas, produciendo seguimientos de ejecución con resultados verificables. El agente clasifica los rastros de fallas e intenta detectar patrones de falla específicos del modelo.
-
Sugerencia de arnés: Con base en estos modelos de falla, el agente utiliza un rol de «proponente» para generar un conjunto de modificaciones de arnés diversas pero pequeñas, cada una vinculada a un mecanismo de falla específico para evitar soluciones demasiado generales.
-
Validación de la propuesta: El sistema evalúa los cambios de candidatos mediante pruebas de regresión. Se promueve un cambio sólo si mejora el rendimiento sin causar una degradación mensurable en las tareas suspendidas. Si varios cambios candidatos pasan las pruebas de regresión, se fusionan en la siguiente versión del arnés, que luego sirve como punto de partida para la siguiente iteración.
Para visualizar por qué una empresa necesitaría uno, imagine un agente automatizado de resolución de problemas que lea la documentación interna, escriba parches y abra solicitudes de extracción. Si la empresa actualiza su estilo de documentación, el agente puede fallar repentinamente, obteniendo el contexto incorrecto o escribiendo correcciones incorrectas.
En la superficie, el agente simplemente parece roto. Pero Self-Harness convierte este ambiguo fracaso en un problema con solución. «Los rastros de fallas revelan dónde el agente está haciendo un mal uso del nuevo formato de documentación; el proponente puede generar una modificación específica del haz… y el evaluador puede decidir si esta modificación mejora los casos de falla sin hacer retroceder los otros casos», dijo Zhang.
El autoaprovechamiento en acción
Los investigadores evaluaron Self-Harness en Terminal-Bench-2.0, un punto de referencia que prueba la ejecución general basada en herramientas, incluido el manejo de artefactos, el uso de comandos, el comportamiento de verificación y la recuperación de errores de tiempo de ejecución. Aplicaron autoarnés con MiniMax M2.5, Qwen3.5-35B-A3B y GLM-5.
Para aislar el impacto del arnés autoescalable, comenzaron con un arnés mínimo construido sobre el SDK de DeepAgent, que contiene solo el indicador del sistema orientado a pruebas comparativas, así como el sistema de archivos predeterminado y las herramientas de shell. El backend del modelo, el conjunto de herramientas, el entorno de referencia y el evaluador se mantuvieron sin cambios, mientras que solo se permitió variar el arnés.
Los resultados cuantitativos muestran que Los oficiales mejoraron su desempeño mediante modificaciones automatizadas del arnés. Sobre las tareas retenidas, El rendimiento aumentó significativamente en todos los ámbitos, entre un 33 y un 60 por ciento. mejoras relativas para diferentes modelos.
Es importante señalar que una regla de aceptación explícita sólo favorece los cambios que mejoran el desempeño sin introducir regresiones inaceptables. Lo que hace que Self-Harness sea poderoso para las aplicaciones empresariales es que no solo alarga el mensaje o agrega instrucciones genéricas. En cambio, introduce cambios específicos que reflejan problemas recurrentes que cada modelo encuentra cuando se ejecuta.
Por ejemplo, bajo el arnés básico, MiniMax M2.5 se quedaría atascado explorando sin cesar las configuraciones del conjunto de datos hasta que expire el tiempo de espera del entorno, sin poder producir ningún entregable. Al utilizar Self-Harness, el sistema identificó esta falla específica y escribió un «interruptor de bucle» en su política de ejecución, lo que obligó al agente a detenerse y redirigir su enfoque después de 50 llamadas a la herramienta. También agregó una regla para crear una versión inicial de los artefactos requeridos lo antes posible.
Por otro lado, Qwen-3.5 tenía la costumbre de encontrar un error de sobrescritura de archivos y luego volver a intentar ciegamente el mismo comando repetidamente, eliminando eventualmente los archivos necesarios en confusión antes de detenerse. El autoaprovechamiento resolvió este problema introduciendo una estricta disciplina de reintento de comandos (que prohíbe comandos duplicados exactos) y un mecanismo que requería que el agente recreara inmediatamente cualquier artefacto faltante si ocurría un error en el archivo.
GLM-5 tenía dificultades para preservar los cambios de entorno en diferentes comandos y, a menudo, perdía tiempo en descargas masivas o finalizando tareas incluso cuando fallaban las comprobaciones de integridad. Su arnés autogenerado introdujo reglas que instruyen al agente a conservar las variables PATH en las sesiones del shell, limitar el cálculo externo y reparar cualquier verificación de integridad fallida antes de concluir su ejecución.
Los costos ocultos de los arneses automatizados
Si bien Self-Harness automatiza el tedioso trabajo de detectar fallas idiosincrásicas del modelo, los tomadores de decisiones deben ser realistas acerca de las compensaciones que deben realizarse. Reemplazar la ingeniería humana con prueba y error automatizados requiere una importante sobrecarga computacional.
«El autoarnés reemplaza parte de la carga de la ingeniería humana con la generación repetida de propuestas, la evaluación paralela de candidatos y las pruebas de regresión», dijo Zhang. «Esto puede significar más tokens API, más latencia durante la optimización y más infraestructura para ejecutar tareas de evaluación».
Además, este sistema depende de la precisión de su proceso de evaluación. Durante sus experimentos en Terminal-Bench-2.0, los investigadores se basaron en verificadores estrictos y deterministas para garantizar que los cambios realizados por el agente fueran realmente útiles. Sin esta rigurosa verdad sobre el terreno, un sistema automatizado corre el riesgo de favorecer malas actualizaciones. «[The] el sistema de evaluación no es un componente opcional; es lo que nos permite cambiar la intuición humana por evidencia empírica”, dijo Zhang.
Esta dependencia de inspectores estrictos también dicta dónde se debe implementar el autoarnés. «Los mejores objetivos de implementación hoy en día son entornos donde se pueden medir las fallas y el ensayo y error es relativamente seguro», dijo Zhang, citando la codificación, la automatización del flujo de trabajo interno y los canales de datos de DevOps como casos de uso ideales.
Por el contrario, las empresas deben evitar automatizar completamente las operaciones en áreas subjetivas o de alto riesgo. «Las señales de alerta más obvias son áreas donde la evaluación es subjetiva, retrasada, no determinista o costosa, como la toma de decisiones médicas, la infraestructura crítica para la seguridad o las decisiones legales».
De diseñadores rápidos a arquitectos de retroalimentación
La introducción de agentes de mejora personal no significa que la codificación o los flujos de trabajo empresariales de repente quedarán libres de la intervención humana. La calidad de la colaboración entre el ingeniero humano y la IA sigue siendo esencial y difícil de capturar con puntos de referencia automatizados.
En cambio, la profesión de ingeniería avanza a través de la capa de abstracción. «El papel de los ingenieros empresariales pasará de aplicar manualmente parches individuales a avisos o llamadas de herramientas a diseñar sistemas de retroalimentación que hagan posible la mejora de los agentes», predijo Zhang. En el futuro, “el ingeniero dejará de ser un simple desarrollador y se convertirá más en un arquitecto de retroalimentación”.
A medida que los diseños fundamentales se vuelvan más capaces, naturalmente absorberán muchas características que actualmente requieren ingeniería de cableado manual. «Pero una vez que eso suceda, el arnés no desaparecerá; su alcance se extenderá hacia afuera para conectar el modelo con ambientes externos más ricos», dijo Zhang. «Hasta que este límite se extienda más allá de lo que los humanos pueden evaluar, los humanos seguirán siendo proveedores esenciales de retroalimentación».
No todas las empresas pueden o deben crear su propio modelo de lenguaje de IA de vanguardia. Sin embargo, el aprovechar controlar el modelo es algo que la mayoría de las empresas pueden y debería personalizar de acuerdo con sus objetivos específicos.
Por supuesto, es más fácil decirlo que hacerlo. ALos arneses de los hombres todavía se ajustan en gran medida mediante depuración manual y ad hoc, un proceso que depende en gran medida de la intuición en lugar de circuitos de retroalimentación sistemáticos, lo que dificulta mantenerse al día con la rápida evolución de los LLM.
Para resolver este desafío, investigadores del Laboratorio de Inteligencia Artificial de Shanghai introdujeron el “Self-Harness”, un nuevo paradigma en el que un agente basado en LLM mejora sistemáticamente sus propias reglas operativas. Al examinar sus propios rastros de ejecución para aplicar cambios, el sistema intercambia conjeturas manuales por evidencia empírica.
Los arneses de mejora automática pueden permitir a los equipos de desarrollo implementar agentes personalizados sólidos que adapten continuamente sus propios protocolos de ejecución para superar las debilidades específicas del modelo.
El desafío de la ingeniería de arneses
El desempeño de un agente basado en LLM no está determinado solo por su modelo base subyacente, sino también por su aprovechamiento: el sistema circundante que proporciona contexto y permite que el modelo interactúe con el entorno. Un arnés incluye componentes como indicaciones del sistema, herramientas, memoria, reglas de verificación, políticas de ejecución, lógica de orquestación y procedimientos de recuperación de fallas.
Esta capa es crucial porque muchas fallas comunes de los agentes provienen del arnés y no del modelo. Por ejemplo, un agente puede informar el éxito sin verificar la respuesta del modelo (por ejemplo, ejecutar el código para ver si pasa las pruebas) o puede volver a intentar una acción que falló varias veces. El arnés también es responsable de evitar la degradación o sobrecarga del contexto cuando el historial de interacción del agente se vuelve muy grande. Ejemplos de arneses populares incluyen SWE-agent, Claude Code, Codex y OpenHands.
La ingeniería de arneses sigue siendo un desafío importante, pero el cuello de botella no se debe necesariamente a que los humanos sean demasiado lentos o incapaces.
De hecho, Hangfan Zhang, autor principal del artículo Self-Harness, dijo a VentureBeat que «en muchos casos, un ingeniero experimentado con un profundo conocimiento del dominio aún puede generar mejores cambios que los que puede lograr un LLM en la actualidad».
En cambio, el verdadero cuello de botella de la ingeniería manual es que depende en gran medida de la depuración ad hoc en lugar de un circuito de retroalimentación empírica verificable. «El problema más profundo es que el paradigma actual de ingeniería de arneses a menudo carece de un circuito de retroalimentación sistemático», explicó Zhang. «Muchos cambios se realizan basándose en la intuición, algunos fallos observados o una depuración ad hoc».
Con el rápido lanzamiento de nuevos modelos, se está volviendo cada vez más costoso e insostenible depender de la intuición humana para ajustar manualmente los arneses específicos del modelo. Aunque algunos enfoques utilizan modelos más sólidos para mejorar las capacidades de los agentes objetivo más débiles, esta dependencia de la orientación externa presenta sus propios desafíos, ya que estos modelos pueden ser costosos, no estar disponibles para los modelos de frontera o pueden no coincidir con los modos de falla del modelo objetivo.
¿Cómo funciona el autoarnés?
El paradigma Self-Harness permite a un agente basado en LLM mejorar su propio aprovechamiento sin depender de ingenieros humanos o modelos externos más potentes.
Esta autoevolución continua está impulsada por un ciclo iterativo de tres pasos que transforma la evidencia de comportamiento en actualizaciones operativas:
-
Exploración de debilidades: A partir de un aprovechamiento inicial, el agente ejecuta un conjunto de tareas, produciendo seguimientos de ejecución con resultados verificables. El agente clasifica los rastros de fallas e intenta detectar patrones de falla específicos del modelo.
-
Sugerencia de arnés: Con base en estos modelos de falla, el agente utiliza un rol de «proponente» para generar un conjunto de modificaciones de arnés diversas pero pequeñas, cada una vinculada a un mecanismo de falla específico para evitar soluciones demasiado generales.
-
Validación de la propuesta: El sistema evalúa los cambios de candidatos mediante pruebas de regresión. Se promueve un cambio sólo si mejora el rendimiento sin causar una degradación mensurable en las tareas suspendidas. Si varios cambios candidatos pasan las pruebas de regresión, se fusionan en la siguiente versión del arnés, que luego sirve como punto de partida para la siguiente iteración.
Para visualizar por qué una empresa necesitaría uno, imagine un agente automatizado de resolución de problemas que lea la documentación interna, escriba parches y abra solicitudes de extracción. Si la empresa actualiza su estilo de documentación, el agente puede fallar repentinamente, obteniendo el contexto incorrecto o escribiendo correcciones incorrectas.
En la superficie, el agente simplemente parece roto. Pero Self-Harness convierte este ambiguo fracaso en un problema con solución. «Los rastros de fallas revelan dónde el agente está haciendo un mal uso del nuevo formato de documentación; el proponente puede generar una modificación específica del haz… y el evaluador puede decidir si esta modificación mejora los casos de falla sin hacer retroceder los otros casos», dijo Zhang.
El autoaprovechamiento en acción
Los investigadores evaluaron Self-Harness en Terminal-Bench-2.0, un punto de referencia que prueba la ejecución general basada en herramientas, incluido el manejo de artefactos, el uso de comandos, el comportamiento de verificación y la recuperación de errores de tiempo de ejecución. Aplicaron autoarnés con MiniMax M2.5, Qwen3.5-35B-A3B y GLM-5.
Para aislar el impacto del arnés autoescalable, comenzaron con un arnés mínimo construido sobre el SDK de DeepAgent, que contiene solo el indicador del sistema orientado a pruebas comparativas, así como el sistema de archivos predeterminado y las herramientas de shell. El backend del modelo, el conjunto de herramientas, el entorno de referencia y el evaluador se mantuvieron sin cambios, mientras que solo se permitió variar el arnés.
Los resultados cuantitativos muestran que Los oficiales mejoraron su desempeño mediante modificaciones automatizadas del arnés. Sobre las tareas retenidas, El rendimiento aumentó significativamente en todos los ámbitos, entre un 33 y un 60 por ciento. mejoras relativas para diferentes modelos.
Es importante señalar que una regla de aceptación explícita sólo favorece los cambios que mejoran el desempeño sin introducir regresiones inaceptables. Lo que hace que Self-Harness sea poderoso para las aplicaciones empresariales es que no solo alarga el mensaje o agrega instrucciones genéricas. En cambio, introduce cambios específicos que reflejan problemas recurrentes que cada modelo encuentra cuando se ejecuta.
Por ejemplo, bajo el arnés básico, MiniMax M2.5 se quedaría atascado explorando sin cesar las configuraciones del conjunto de datos hasta que expire el tiempo de espera del entorno, sin poder producir ningún entregable. Al utilizar Self-Harness, el sistema identificó esta falla específica y escribió un «interruptor de bucle» en su política de ejecución, lo que obligó al agente a detenerse y redirigir su enfoque después de 50 llamadas a la herramienta. También agregó una regla para crear una versión inicial de los artefactos requeridos lo antes posible.
Por otro lado, Qwen-3.5 tenía la costumbre de encontrar un error de sobrescritura de archivos y luego volver a intentar ciegamente el mismo comando repetidamente, eliminando eventualmente los archivos necesarios en confusión antes de detenerse. El autoaprovechamiento resolvió este problema introduciendo una estricta disciplina de reintento de comandos (que prohíbe comandos duplicados exactos) y un mecanismo que requería que el agente recreara inmediatamente cualquier artefacto faltante si ocurría un error en el archivo.
GLM-5 tenía dificultades para preservar los cambios de entorno en diferentes comandos y, a menudo, perdía tiempo en descargas masivas o finalizando tareas incluso cuando fallaban las comprobaciones de integridad. Su arnés autogenerado introdujo reglas que instruyen al agente a conservar las variables PATH en las sesiones del shell, limitar el cálculo externo y reparar cualquier verificación de integridad fallida antes de concluir su ejecución.
Los costos ocultos de los arneses automatizados
Si bien Self-Harness automatiza el tedioso trabajo de detectar fallas idiosincrásicas del modelo, los tomadores de decisiones deben ser realistas acerca de las compensaciones que deben realizarse. Reemplazar la ingeniería humana con prueba y error automatizados requiere una importante sobrecarga computacional.
«El autoarnés reemplaza parte de la carga de la ingeniería humana con la generación repetida de propuestas, la evaluación paralela de candidatos y las pruebas de regresión», dijo Zhang. «Esto puede significar más tokens API, más latencia durante la optimización y más infraestructura para ejecutar tareas de evaluación».
Además, este sistema depende de la precisión de su proceso de evaluación. Durante sus experimentos en Terminal-Bench-2.0, los investigadores se basaron en verificadores estrictos y deterministas para garantizar que los cambios realizados por el agente fueran realmente útiles. Sin esta rigurosa verdad sobre el terreno, un sistema automatizado corre el riesgo de favorecer malas actualizaciones. «[The] el sistema de evaluación no es un componente opcional; es lo que nos permite cambiar la intuición humana por evidencia empírica”, dijo Zhang.
Esta dependencia de inspectores estrictos también dicta dónde se debe implementar el autoarnés. «Los mejores objetivos de implementación hoy en día son entornos donde se pueden medir las fallas y el ensayo y error es relativamente seguro», dijo Zhang, citando la codificación, la automatización del flujo de trabajo interno y los canales de datos de DevOps como casos de uso ideales.
Por el contrario, las empresas deben evitar automatizar completamente las operaciones en áreas subjetivas o de alto riesgo. «Las señales de alerta más obvias son áreas donde la evaluación es subjetiva, retrasada, no determinista o costosa, como la toma de decisiones médicas, la infraestructura crítica para la seguridad o las decisiones legales».
De diseñadores rápidos a arquitectos de retroalimentación
La introducción de agentes de mejora personal no significa que la codificación o los flujos de trabajo empresariales de repente quedarán libres de la intervención humana. La calidad de la colaboración entre el ingeniero humano y la IA sigue siendo esencial y difícil de capturar con puntos de referencia automatizados.
En cambio, la profesión de ingeniería avanza a través de la capa de abstracción. «El papel de los ingenieros empresariales pasará de aplicar manualmente parches individuales a avisos o llamadas de herramientas a diseñar sistemas de retroalimentación que hagan posible la mejora de los agentes», predijo Zhang. En el futuro, “el ingeniero dejará de ser un simple desarrollador y se convertirá más en un arquitecto de retroalimentación”.
A medida que los diseños fundamentales se vuelvan más capaces, naturalmente absorberán muchas características que actualmente requieren ingeniería de cableado manual. «Pero una vez que eso suceda, el arnés no desaparecerá; su alcance se extenderá hacia afuera para conectar el modelo con ambientes externos más ricos», dijo Zhang. «Hasta que este límite se extienda más allá de lo que los humanos pueden evaluar, los humanos seguirán siendo proveedores esenciales de retroalimentación».
No todas las empresas pueden o deben crear su propio modelo de lenguaje de IA de vanguardia. Sin embargo, el aprovechar controlar el modelo es algo que la mayoría de las empresas pueden y debería personalizar de acuerdo con sus objetivos específicos.
Por supuesto, es más fácil decirlo que hacerlo. ALos arneses de los hombres todavía se ajustan en gran medida mediante depuración manual y ad hoc, un proceso que depende en gran medida de la intuición en lugar de circuitos de retroalimentación sistemáticos, lo que dificulta mantenerse al día con la rápida evolución de los LLM.
Para resolver este desafío, investigadores del Laboratorio de Inteligencia Artificial de Shanghai introdujeron el “Self-Harness”, un nuevo paradigma en el que un agente basado en LLM mejora sistemáticamente sus propias reglas operativas. Al examinar sus propios rastros de ejecución para aplicar cambios, el sistema intercambia conjeturas manuales por evidencia empírica.
Los arneses de mejora automática pueden permitir a los equipos de desarrollo implementar agentes personalizados sólidos que adapten continuamente sus propios protocolos de ejecución para superar las debilidades específicas del modelo.
El desafío de la ingeniería de arneses
El desempeño de un agente basado en LLM no está determinado solo por su modelo base subyacente, sino también por su aprovechamiento: el sistema circundante que proporciona contexto y permite que el modelo interactúe con el entorno. Un arnés incluye componentes como indicaciones del sistema, herramientas, memoria, reglas de verificación, políticas de ejecución, lógica de orquestación y procedimientos de recuperación de fallas.
Esta capa es crucial porque muchas fallas comunes de los agentes provienen del arnés y no del modelo. Por ejemplo, un agente puede informar el éxito sin verificar la respuesta del modelo (por ejemplo, ejecutar el código para ver si pasa las pruebas) o puede volver a intentar una acción que falló varias veces. El arnés también es responsable de evitar la degradación o sobrecarga del contexto cuando el historial de interacción del agente se vuelve muy grande. Ejemplos de arneses populares incluyen SWE-agent, Claude Code, Codex y OpenHands.
La ingeniería de arneses sigue siendo un desafío importante, pero el cuello de botella no se debe necesariamente a que los humanos sean demasiado lentos o incapaces.
De hecho, Hangfan Zhang, autor principal del artículo Self-Harness, dijo a VentureBeat que «en muchos casos, un ingeniero experimentado con un profundo conocimiento del dominio aún puede generar mejores cambios que los que puede lograr un LLM en la actualidad».
En cambio, el verdadero cuello de botella de la ingeniería manual es que depende en gran medida de la depuración ad hoc en lugar de un circuito de retroalimentación empírica verificable. «El problema más profundo es que el paradigma actual de ingeniería de arneses a menudo carece de un circuito de retroalimentación sistemático», explicó Zhang. «Muchos cambios se realizan basándose en la intuición, algunos fallos observados o una depuración ad hoc».
Con el rápido lanzamiento de nuevos modelos, se está volviendo cada vez más costoso e insostenible depender de la intuición humana para ajustar manualmente los arneses específicos del modelo. Aunque algunos enfoques utilizan modelos más sólidos para mejorar las capacidades de los agentes objetivo más débiles, esta dependencia de la orientación externa presenta sus propios desafíos, ya que estos modelos pueden ser costosos, no estar disponibles para los modelos de frontera o pueden no coincidir con los modos de falla del modelo objetivo.
¿Cómo funciona el autoarnés?
El paradigma Self-Harness permite a un agente basado en LLM mejorar su propio aprovechamiento sin depender de ingenieros humanos o modelos externos más potentes.
Esta autoevolución continua está impulsada por un ciclo iterativo de tres pasos que transforma la evidencia de comportamiento en actualizaciones operativas:
-
Exploración de debilidades: A partir de un aprovechamiento inicial, el agente ejecuta un conjunto de tareas, produciendo seguimientos de ejecución con resultados verificables. El agente clasifica los rastros de fallas e intenta detectar patrones de falla específicos del modelo.
-
Sugerencia de arnés: Con base en estos modelos de falla, el agente utiliza un rol de «proponente» para generar un conjunto de modificaciones de arnés diversas pero pequeñas, cada una vinculada a un mecanismo de falla específico para evitar soluciones demasiado generales.
-
Validación de la propuesta: El sistema evalúa los cambios de candidatos mediante pruebas de regresión. Se promueve un cambio sólo si mejora el rendimiento sin causar una degradación mensurable en las tareas suspendidas. Si varios cambios candidatos pasan las pruebas de regresión, se fusionan en la siguiente versión del arnés, que luego sirve como punto de partida para la siguiente iteración.
Para visualizar por qué una empresa necesitaría uno, imagine un agente automatizado de resolución de problemas que lea la documentación interna, escriba parches y abra solicitudes de extracción. Si la empresa actualiza su estilo de documentación, el agente puede fallar repentinamente, obteniendo el contexto incorrecto o escribiendo correcciones incorrectas.
En la superficie, el agente simplemente parece roto. Pero Self-Harness convierte este ambiguo fracaso en un problema con solución. «Los rastros de fallas revelan dónde el agente está haciendo un mal uso del nuevo formato de documentación; el proponente puede generar una modificación específica del haz… y el evaluador puede decidir si esta modificación mejora los casos de falla sin hacer retroceder los otros casos», dijo Zhang.
El autoaprovechamiento en acción
Los investigadores evaluaron Self-Harness en Terminal-Bench-2.0, un punto de referencia que prueba la ejecución general basada en herramientas, incluido el manejo de artefactos, el uso de comandos, el comportamiento de verificación y la recuperación de errores de tiempo de ejecución. Aplicaron autoarnés con MiniMax M2.5, Qwen3.5-35B-A3B y GLM-5.
Para aislar el impacto del arnés autoescalable, comenzaron con un arnés mínimo construido sobre el SDK de DeepAgent, que contiene solo el indicador del sistema orientado a pruebas comparativas, así como el sistema de archivos predeterminado y las herramientas de shell. El backend del modelo, el conjunto de herramientas, el entorno de referencia y el evaluador se mantuvieron sin cambios, mientras que solo se permitió variar el arnés.
Los resultados cuantitativos muestran que Los oficiales mejoraron su desempeño mediante modificaciones automatizadas del arnés. Sobre las tareas retenidas, El rendimiento aumentó significativamente en todos los ámbitos, entre un 33 y un 60 por ciento. mejoras relativas para diferentes modelos.
Es importante señalar que una regla de aceptación explícita sólo favorece los cambios que mejoran el desempeño sin introducir regresiones inaceptables. Lo que hace que Self-Harness sea poderoso para las aplicaciones empresariales es que no solo alarga el mensaje o agrega instrucciones genéricas. En cambio, introduce cambios específicos que reflejan problemas recurrentes que cada modelo encuentra cuando se ejecuta.
Por ejemplo, bajo el arnés básico, MiniMax M2.5 se quedaría atascado explorando sin cesar las configuraciones del conjunto de datos hasta que expire el tiempo de espera del entorno, sin poder producir ningún entregable. Al utilizar Self-Harness, el sistema identificó esta falla específica y escribió un «interruptor de bucle» en su política de ejecución, lo que obligó al agente a detenerse y redirigir su enfoque después de 50 llamadas a la herramienta. También agregó una regla para crear una versión inicial de los artefactos requeridos lo antes posible.
Por otro lado, Qwen-3.5 tenía la costumbre de encontrar un error de sobrescritura de archivos y luego volver a intentar ciegamente el mismo comando repetidamente, eliminando eventualmente los archivos necesarios en confusión antes de detenerse. El autoaprovechamiento resolvió este problema introduciendo una estricta disciplina de reintento de comandos (que prohíbe comandos duplicados exactos) y un mecanismo que requería que el agente recreara inmediatamente cualquier artefacto faltante si ocurría un error en el archivo.
GLM-5 tenía dificultades para preservar los cambios de entorno en diferentes comandos y, a menudo, perdía tiempo en descargas masivas o finalizando tareas incluso cuando fallaban las comprobaciones de integridad. Su arnés autogenerado introdujo reglas que instruyen al agente a conservar las variables PATH en las sesiones del shell, limitar el cálculo externo y reparar cualquier verificación de integridad fallida antes de concluir su ejecución.
Los costos ocultos de los arneses automatizados
Si bien Self-Harness automatiza el tedioso trabajo de detectar fallas idiosincrásicas del modelo, los tomadores de decisiones deben ser realistas acerca de las compensaciones que deben realizarse. Reemplazar la ingeniería humana con prueba y error automatizados requiere una importante sobrecarga computacional.
«El autoarnés reemplaza parte de la carga de la ingeniería humana con la generación repetida de propuestas, la evaluación paralela de candidatos y las pruebas de regresión», dijo Zhang. «Esto puede significar más tokens API, más latencia durante la optimización y más infraestructura para ejecutar tareas de evaluación».
Además, este sistema depende de la precisión de su proceso de evaluación. Durante sus experimentos en Terminal-Bench-2.0, los investigadores se basaron en verificadores estrictos y deterministas para garantizar que los cambios realizados por el agente fueran realmente útiles. Sin esta rigurosa verdad sobre el terreno, un sistema automatizado corre el riesgo de favorecer malas actualizaciones. «[The] el sistema de evaluación no es un componente opcional; es lo que nos permite cambiar la intuición humana por evidencia empírica”, dijo Zhang.
Esta dependencia de inspectores estrictos también dicta dónde se debe implementar el autoarnés. «Los mejores objetivos de implementación hoy en día son entornos donde se pueden medir las fallas y el ensayo y error es relativamente seguro», dijo Zhang, citando la codificación, la automatización del flujo de trabajo interno y los canales de datos de DevOps como casos de uso ideales.
Por el contrario, las empresas deben evitar automatizar completamente las operaciones en áreas subjetivas o de alto riesgo. «Las señales de alerta más obvias son áreas donde la evaluación es subjetiva, retrasada, no determinista o costosa, como la toma de decisiones médicas, la infraestructura crítica para la seguridad o las decisiones legales».
De diseñadores rápidos a arquitectos de retroalimentación
La introducción de agentes de mejora personal no significa que la codificación o los flujos de trabajo empresariales de repente quedarán libres de la intervención humana. La calidad de la colaboración entre el ingeniero humano y la IA sigue siendo esencial y difícil de capturar con puntos de referencia automatizados.
En cambio, la profesión de ingeniería avanza a través de la capa de abstracción. «El papel de los ingenieros empresariales pasará de aplicar manualmente parches individuales a avisos o llamadas de herramientas a diseñar sistemas de retroalimentación que hagan posible la mejora de los agentes», predijo Zhang. En el futuro, “el ingeniero dejará de ser un simple desarrollador y se convertirá más en un arquitecto de retroalimentación”.
A medida que los diseños fundamentales se vuelvan más capaces, naturalmente absorberán muchas características que actualmente requieren ingeniería de cableado manual. «Pero una vez que eso suceda, el arnés no desaparecerá; su alcance se extenderá hacia afuera para conectar el modelo con ambientes externos más ricos», dijo Zhang. «Hasta que este límite se extienda más allá de lo que los humanos pueden evaluar, los humanos seguirán siendo proveedores esenciales de retroalimentación».
No todas las empresas pueden o deben crear su propio modelo de lenguaje de IA de vanguardia. Sin embargo, el aprovechar controlar el modelo es algo que la mayoría de las empresas pueden y debería personalizar de acuerdo con sus objetivos específicos.
Por supuesto, es más fácil decirlo que hacerlo. ALos arneses de los hombres todavía se ajustan en gran medida mediante depuración manual y ad hoc, un proceso que depende en gran medida de la intuición en lugar de circuitos de retroalimentación sistemáticos, lo que dificulta mantenerse al día con la rápida evolución de los LLM.
Para resolver este desafío, investigadores del Laboratorio de Inteligencia Artificial de Shanghai introdujeron el “Self-Harness”, un nuevo paradigma en el que un agente basado en LLM mejora sistemáticamente sus propias reglas operativas. Al examinar sus propios rastros de ejecución para aplicar cambios, el sistema intercambia conjeturas manuales por evidencia empírica.
Los arneses de mejora automática pueden permitir a los equipos de desarrollo implementar agentes personalizados sólidos que adapten continuamente sus propios protocolos de ejecución para superar las debilidades específicas del modelo.
El desafío de la ingeniería de arneses
El desempeño de un agente basado en LLM no está determinado solo por su modelo base subyacente, sino también por su aprovechamiento: el sistema circundante que proporciona contexto y permite que el modelo interactúe con el entorno. Un arnés incluye componentes como indicaciones del sistema, herramientas, memoria, reglas de verificación, políticas de ejecución, lógica de orquestación y procedimientos de recuperación de fallas.
Esta capa es crucial porque muchas fallas comunes de los agentes provienen del arnés y no del modelo. Por ejemplo, un agente puede informar el éxito sin verificar la respuesta del modelo (por ejemplo, ejecutar el código para ver si pasa las pruebas) o puede volver a intentar una acción que falló varias veces. El arnés también es responsable de evitar la degradación o sobrecarga del contexto cuando el historial de interacción del agente se vuelve muy grande. Ejemplos de arneses populares incluyen SWE-agent, Claude Code, Codex y OpenHands.
La ingeniería de arneses sigue siendo un desafío importante, pero el cuello de botella no se debe necesariamente a que los humanos sean demasiado lentos o incapaces.
De hecho, Hangfan Zhang, autor principal del artículo Self-Harness, dijo a VentureBeat que «en muchos casos, un ingeniero experimentado con un profundo conocimiento del dominio aún puede generar mejores cambios que los que puede lograr un LLM en la actualidad».
En cambio, el verdadero cuello de botella de la ingeniería manual es que depende en gran medida de la depuración ad hoc en lugar de un circuito de retroalimentación empírica verificable. «El problema más profundo es que el paradigma actual de ingeniería de arneses a menudo carece de un circuito de retroalimentación sistemático», explicó Zhang. «Muchos cambios se realizan basándose en la intuición, algunos fallos observados o una depuración ad hoc».
Con el rápido lanzamiento de nuevos modelos, se está volviendo cada vez más costoso e insostenible depender de la intuición humana para ajustar manualmente los arneses específicos del modelo. Aunque algunos enfoques utilizan modelos más sólidos para mejorar las capacidades de los agentes objetivo más débiles, esta dependencia de la orientación externa presenta sus propios desafíos, ya que estos modelos pueden ser costosos, no estar disponibles para los modelos de frontera o pueden no coincidir con los modos de falla del modelo objetivo.
¿Cómo funciona el autoarnés?
El paradigma Self-Harness permite a un agente basado en LLM mejorar su propio aprovechamiento sin depender de ingenieros humanos o modelos externos más potentes.
Esta autoevolución continua está impulsada por un ciclo iterativo de tres pasos que transforma la evidencia de comportamiento en actualizaciones operativas:
-
Exploración de debilidades: A partir de un aprovechamiento inicial, el agente ejecuta un conjunto de tareas, produciendo seguimientos de ejecución con resultados verificables. El agente clasifica los rastros de fallas e intenta detectar patrones de falla específicos del modelo.
-
Sugerencia de arnés: Con base en estos modelos de falla, el agente utiliza un rol de «proponente» para generar un conjunto de modificaciones de arnés diversas pero pequeñas, cada una vinculada a un mecanismo de falla específico para evitar soluciones demasiado generales.
-
Validación de la propuesta: El sistema evalúa los cambios de candidatos mediante pruebas de regresión. Se promueve un cambio sólo si mejora el rendimiento sin causar una degradación mensurable en las tareas suspendidas. Si varios cambios candidatos pasan las pruebas de regresión, se fusionan en la siguiente versión del arnés, que luego sirve como punto de partida para la siguiente iteración.
Para visualizar por qué una empresa necesitaría uno, imagine un agente automatizado de resolución de problemas que lea la documentación interna, escriba parches y abra solicitudes de extracción. Si la empresa actualiza su estilo de documentación, el agente puede fallar repentinamente, obteniendo el contexto incorrecto o escribiendo correcciones incorrectas.
En la superficie, el agente simplemente parece roto. Pero Self-Harness convierte este ambiguo fracaso en un problema con solución. «Los rastros de fallas revelan dónde el agente está haciendo un mal uso del nuevo formato de documentación; el proponente puede generar una modificación específica del haz… y el evaluador puede decidir si esta modificación mejora los casos de falla sin hacer retroceder los otros casos», dijo Zhang.
El autoaprovechamiento en acción
Los investigadores evaluaron Self-Harness en Terminal-Bench-2.0, un punto de referencia que prueba la ejecución general basada en herramientas, incluido el manejo de artefactos, el uso de comandos, el comportamiento de verificación y la recuperación de errores de tiempo de ejecución. Aplicaron autoarnés con MiniMax M2.5, Qwen3.5-35B-A3B y GLM-5.
Para aislar el impacto del arnés autoescalable, comenzaron con un arnés mínimo construido sobre el SDK de DeepAgent, que contiene solo el indicador del sistema orientado a pruebas comparativas, así como el sistema de archivos predeterminado y las herramientas de shell. El backend del modelo, el conjunto de herramientas, el entorno de referencia y el evaluador se mantuvieron sin cambios, mientras que solo se permitió variar el arnés.
Los resultados cuantitativos muestran que Los oficiales mejoraron su desempeño mediante modificaciones automatizadas del arnés. Sobre las tareas retenidas, El rendimiento aumentó significativamente en todos los ámbitos, entre un 33 y un 60 por ciento. mejoras relativas para diferentes modelos.
Es importante señalar que una regla de aceptación explícita sólo favorece los cambios que mejoran el desempeño sin introducir regresiones inaceptables. Lo que hace que Self-Harness sea poderoso para las aplicaciones empresariales es que no solo alarga el mensaje o agrega instrucciones genéricas. En cambio, introduce cambios específicos que reflejan problemas recurrentes que cada modelo encuentra cuando se ejecuta.
Por ejemplo, bajo el arnés básico, MiniMax M2.5 se quedaría atascado explorando sin cesar las configuraciones del conjunto de datos hasta que expire el tiempo de espera del entorno, sin poder producir ningún entregable. Al utilizar Self-Harness, el sistema identificó esta falla específica y escribió un «interruptor de bucle» en su política de ejecución, lo que obligó al agente a detenerse y redirigir su enfoque después de 50 llamadas a la herramienta. También agregó una regla para crear una versión inicial de los artefactos requeridos lo antes posible.
Por otro lado, Qwen-3.5 tenía la costumbre de encontrar un error de sobrescritura de archivos y luego volver a intentar ciegamente el mismo comando repetidamente, eliminando eventualmente los archivos necesarios en confusión antes de detenerse. El autoaprovechamiento resolvió este problema introduciendo una estricta disciplina de reintento de comandos (que prohíbe comandos duplicados exactos) y un mecanismo que requería que el agente recreara inmediatamente cualquier artefacto faltante si ocurría un error en el archivo.
GLM-5 tenía dificultades para preservar los cambios de entorno en diferentes comandos y, a menudo, perdía tiempo en descargas masivas o finalizando tareas incluso cuando fallaban las comprobaciones de integridad. Su arnés autogenerado introdujo reglas que instruyen al agente a conservar las variables PATH en las sesiones del shell, limitar el cálculo externo y reparar cualquier verificación de integridad fallida antes de concluir su ejecución.
Los costos ocultos de los arneses automatizados
Si bien Self-Harness automatiza el tedioso trabajo de detectar fallas idiosincrásicas del modelo, los tomadores de decisiones deben ser realistas acerca de las compensaciones que deben realizarse. Reemplazar la ingeniería humana con prueba y error automatizados requiere una importante sobrecarga computacional.
«El autoarnés reemplaza parte de la carga de la ingeniería humana con la generación repetida de propuestas, la evaluación paralela de candidatos y las pruebas de regresión», dijo Zhang. «Esto puede significar más tokens API, más latencia durante la optimización y más infraestructura para ejecutar tareas de evaluación».
Además, este sistema depende de la precisión de su proceso de evaluación. Durante sus experimentos en Terminal-Bench-2.0, los investigadores se basaron en verificadores estrictos y deterministas para garantizar que los cambios realizados por el agente fueran realmente útiles. Sin esta rigurosa verdad sobre el terreno, un sistema automatizado corre el riesgo de favorecer malas actualizaciones. «[The] el sistema de evaluación no es un componente opcional; es lo que nos permite cambiar la intuición humana por evidencia empírica”, dijo Zhang.
Esta dependencia de inspectores estrictos también dicta dónde se debe implementar el autoarnés. «Los mejores objetivos de implementación hoy en día son entornos donde se pueden medir las fallas y el ensayo y error es relativamente seguro», dijo Zhang, citando la codificación, la automatización del flujo de trabajo interno y los canales de datos de DevOps como casos de uso ideales.
Por el contrario, las empresas deben evitar automatizar completamente las operaciones en áreas subjetivas o de alto riesgo. «Las señales de alerta más obvias son áreas donde la evaluación es subjetiva, retrasada, no determinista o costosa, como la toma de decisiones médicas, la infraestructura crítica para la seguridad o las decisiones legales».
De diseñadores rápidos a arquitectos de retroalimentación
La introducción de agentes de mejora personal no significa que la codificación o los flujos de trabajo empresariales de repente quedarán libres de la intervención humana. La calidad de la colaboración entre el ingeniero humano y la IA sigue siendo esencial y difícil de capturar con puntos de referencia automatizados.
En cambio, la profesión de ingeniería avanza a través de la capa de abstracción. «El papel de los ingenieros empresariales pasará de aplicar manualmente parches individuales a avisos o llamadas de herramientas a diseñar sistemas de retroalimentación que hagan posible la mejora de los agentes», predijo Zhang. En el futuro, “el ingeniero dejará de ser un simple desarrollador y se convertirá más en un arquitecto de retroalimentación”.
A medida que los diseños fundamentales se vuelvan más capaces, naturalmente absorberán muchas características que actualmente requieren ingeniería de cableado manual. «Pero una vez que eso suceda, el arnés no desaparecerá; su alcance se extenderá hacia afuera para conectar el modelo con ambientes externos más ricos», dijo Zhang. «Hasta que este límite se extienda más allá de lo que los humanos pueden evaluar, los humanos seguirán siendo proveedores esenciales de retroalimentación».
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
No todas las empresas pueden o deben crear su propio modelo de lenguaje de IA de vanguardia. Sin embargo, el aprovechar controlar el modelo es algo que la mayoría de las empresas pueden y debería personalizar de acuerdo con sus objetivos específicos.
Por supuesto, es más fácil decirlo que hacerlo. ALos arneses de los hombres todavía se ajustan en gran medida mediante depuración manual y ad hoc, un proceso que depende en gran medida de la intuición en lugar de circuitos de retroalimentación sistemáticos, lo que dificulta mantenerse al día con la rápida evolución de los LLM.
Para resolver este desafío, investigadores del Laboratorio de Inteligencia Artificial de Shanghai introdujeron el “Self-Harness”, un nuevo paradigma en el que un agente basado en LLM mejora sistemáticamente sus propias reglas operativas. Al examinar sus propios rastros de ejecución para aplicar cambios, el sistema intercambia conjeturas manuales por evidencia empírica.
Los arneses de mejora automática pueden permitir a los equipos de desarrollo implementar agentes personalizados sólidos que adapten continuamente sus propios protocolos de ejecución para superar las debilidades específicas del modelo.
El desafío de la ingeniería de arneses
El desempeño de un agente basado en LLM no está determinado solo por su modelo base subyacente, sino también por su aprovechamiento: el sistema circundante que proporciona contexto y permite que el modelo interactúe con el entorno. Un arnés incluye componentes como indicaciones del sistema, herramientas, memoria, reglas de verificación, políticas de ejecución, lógica de orquestación y procedimientos de recuperación de fallas.
Esta capa es crucial porque muchas fallas comunes de los agentes provienen del arnés y no del modelo. Por ejemplo, un agente puede informar el éxito sin verificar la respuesta del modelo (por ejemplo, ejecutar el código para ver si pasa las pruebas) o puede volver a intentar una acción que falló varias veces. El arnés también es responsable de evitar la degradación o sobrecarga del contexto cuando el historial de interacción del agente se vuelve muy grande. Ejemplos de arneses populares incluyen SWE-agent, Claude Code, Codex y OpenHands.
La ingeniería de arneses sigue siendo un desafío importante, pero el cuello de botella no se debe necesariamente a que los humanos sean demasiado lentos o incapaces.
De hecho, Hangfan Zhang, autor principal del artículo Self-Harness, dijo a VentureBeat que «en muchos casos, un ingeniero experimentado con un profundo conocimiento del dominio aún puede generar mejores cambios que los que puede lograr un LLM en la actualidad».
En cambio, el verdadero cuello de botella de la ingeniería manual es que depende en gran medida de la depuración ad hoc en lugar de un circuito de retroalimentación empírica verificable. «El problema más profundo es que el paradigma actual de ingeniería de arneses a menudo carece de un circuito de retroalimentación sistemático», explicó Zhang. «Muchos cambios se realizan basándose en la intuición, algunos fallos observados o una depuración ad hoc».
Con el rápido lanzamiento de nuevos modelos, se está volviendo cada vez más costoso e insostenible depender de la intuición humana para ajustar manualmente los arneses específicos del modelo. Aunque algunos enfoques utilizan modelos más sólidos para mejorar las capacidades de los agentes objetivo más débiles, esta dependencia de la orientación externa presenta sus propios desafíos, ya que estos modelos pueden ser costosos, no estar disponibles para los modelos de frontera o pueden no coincidir con los modos de falla del modelo objetivo.
¿Cómo funciona el autoarnés?
El paradigma Self-Harness permite a un agente basado en LLM mejorar su propio aprovechamiento sin depender de ingenieros humanos o modelos externos más potentes.
Esta autoevolución continua está impulsada por un ciclo iterativo de tres pasos que transforma la evidencia de comportamiento en actualizaciones operativas:
-
Exploración de debilidades: A partir de un aprovechamiento inicial, el agente ejecuta un conjunto de tareas, produciendo seguimientos de ejecución con resultados verificables. El agente clasifica los rastros de fallas e intenta detectar patrones de falla específicos del modelo.
-
Sugerencia de arnés: Con base en estos modelos de falla, el agente utiliza un rol de «proponente» para generar un conjunto de modificaciones de arnés diversas pero pequeñas, cada una vinculada a un mecanismo de falla específico para evitar soluciones demasiado generales.
-
Validación de la propuesta: El sistema evalúa los cambios de candidatos mediante pruebas de regresión. Se promueve un cambio sólo si mejora el rendimiento sin causar una degradación mensurable en las tareas suspendidas. Si varios cambios candidatos pasan las pruebas de regresión, se fusionan en la siguiente versión del arnés, que luego sirve como punto de partida para la siguiente iteración.
Para visualizar por qué una empresa necesitaría uno, imagine un agente automatizado de resolución de problemas que lea la documentación interna, escriba parches y abra solicitudes de extracción. Si la empresa actualiza su estilo de documentación, el agente puede fallar repentinamente, obteniendo el contexto incorrecto o escribiendo correcciones incorrectas.
En la superficie, el agente simplemente parece roto. Pero Self-Harness convierte este ambiguo fracaso en un problema con solución. «Los rastros de fallas revelan dónde el agente está haciendo un mal uso del nuevo formato de documentación; el proponente puede generar una modificación específica del haz… y el evaluador puede decidir si esta modificación mejora los casos de falla sin hacer retroceder los otros casos», dijo Zhang.
El autoaprovechamiento en acción
Los investigadores evaluaron Self-Harness en Terminal-Bench-2.0, un punto de referencia que prueba la ejecución general basada en herramientas, incluido el manejo de artefactos, el uso de comandos, el comportamiento de verificación y la recuperación de errores de tiempo de ejecución. Aplicaron autoarnés con MiniMax M2.5, Qwen3.5-35B-A3B y GLM-5.
Para aislar el impacto del arnés autoescalable, comenzaron con un arnés mínimo construido sobre el SDK de DeepAgent, que contiene solo el indicador del sistema orientado a pruebas comparativas, así como el sistema de archivos predeterminado y las herramientas de shell. El backend del modelo, el conjunto de herramientas, el entorno de referencia y el evaluador se mantuvieron sin cambios, mientras que solo se permitió variar el arnés.
Los resultados cuantitativos muestran que Los oficiales mejoraron su desempeño mediante modificaciones automatizadas del arnés. Sobre las tareas retenidas, El rendimiento aumentó significativamente en todos los ámbitos, entre un 33 y un 60 por ciento. mejoras relativas para diferentes modelos.
Es importante señalar que una regla de aceptación explícita sólo favorece los cambios que mejoran el desempeño sin introducir regresiones inaceptables. Lo que hace que Self-Harness sea poderoso para las aplicaciones empresariales es que no solo alarga el mensaje o agrega instrucciones genéricas. En cambio, introduce cambios específicos que reflejan problemas recurrentes que cada modelo encuentra cuando se ejecuta.
Por ejemplo, bajo el arnés básico, MiniMax M2.5 se quedaría atascado explorando sin cesar las configuraciones del conjunto de datos hasta que expire el tiempo de espera del entorno, sin poder producir ningún entregable. Al utilizar Self-Harness, el sistema identificó esta falla específica y escribió un «interruptor de bucle» en su política de ejecución, lo que obligó al agente a detenerse y redirigir su enfoque después de 50 llamadas a la herramienta. También agregó una regla para crear una versión inicial de los artefactos requeridos lo antes posible.
Por otro lado, Qwen-3.5 tenía la costumbre de encontrar un error de sobrescritura de archivos y luego volver a intentar ciegamente el mismo comando repetidamente, eliminando eventualmente los archivos necesarios en confusión antes de detenerse. El autoaprovechamiento resolvió este problema introduciendo una estricta disciplina de reintento de comandos (que prohíbe comandos duplicados exactos) y un mecanismo que requería que el agente recreara inmediatamente cualquier artefacto faltante si ocurría un error en el archivo.
GLM-5 tenía dificultades para preservar los cambios de entorno en diferentes comandos y, a menudo, perdía tiempo en descargas masivas o finalizando tareas incluso cuando fallaban las comprobaciones de integridad. Su arnés autogenerado introdujo reglas que instruyen al agente a conservar las variables PATH en las sesiones del shell, limitar el cálculo externo y reparar cualquier verificación de integridad fallida antes de concluir su ejecución.
Los costos ocultos de los arneses automatizados
Si bien Self-Harness automatiza el tedioso trabajo de detectar fallas idiosincrásicas del modelo, los tomadores de decisiones deben ser realistas acerca de las compensaciones que deben realizarse. Reemplazar la ingeniería humana con prueba y error automatizados requiere una importante sobrecarga computacional.
«El autoarnés reemplaza parte de la carga de la ingeniería humana con la generación repetida de propuestas, la evaluación paralela de candidatos y las pruebas de regresión», dijo Zhang. «Esto puede significar más tokens API, más latencia durante la optimización y más infraestructura para ejecutar tareas de evaluación».
Además, este sistema depende de la precisión de su proceso de evaluación. Durante sus experimentos en Terminal-Bench-2.0, los investigadores se basaron en verificadores estrictos y deterministas para garantizar que los cambios realizados por el agente fueran realmente útiles. Sin esta rigurosa verdad sobre el terreno, un sistema automatizado corre el riesgo de favorecer malas actualizaciones. «[The] el sistema de evaluación no es un componente opcional; es lo que nos permite cambiar la intuición humana por evidencia empírica”, dijo Zhang.
Esta dependencia de inspectores estrictos también dicta dónde se debe implementar el autoarnés. «Los mejores objetivos de implementación hoy en día son entornos donde se pueden medir las fallas y el ensayo y error es relativamente seguro», dijo Zhang, citando la codificación, la automatización del flujo de trabajo interno y los canales de datos de DevOps como casos de uso ideales.
Por el contrario, las empresas deben evitar automatizar completamente las operaciones en áreas subjetivas o de alto riesgo. «Las señales de alerta más obvias son áreas donde la evaluación es subjetiva, retrasada, no determinista o costosa, como la toma de decisiones médicas, la infraestructura crítica para la seguridad o las decisiones legales».
De diseñadores rápidos a arquitectos de retroalimentación
La introducción de agentes de mejora personal no significa que la codificación o los flujos de trabajo empresariales de repente quedarán libres de la intervención humana. La calidad de la colaboración entre el ingeniero humano y la IA sigue siendo esencial y difícil de capturar con puntos de referencia automatizados.
En cambio, la profesión de ingeniería avanza a través de la capa de abstracción. «El papel de los ingenieros empresariales pasará de aplicar manualmente parches individuales a avisos o llamadas de herramientas a diseñar sistemas de retroalimentación que hagan posible la mejora de los agentes», predijo Zhang. En el futuro, “el ingeniero dejará de ser un simple desarrollador y se convertirá más en un arquitecto de retroalimentación”.
A medida que los diseños fundamentales se vuelvan más capaces, naturalmente absorberán muchas características que actualmente requieren ingeniería de cableado manual. «Pero una vez que eso suceda, el arnés no desaparecerá; su alcance se extenderá hacia afuera para conectar el modelo con ambientes externos más ricos», dijo Zhang. «Hasta que este límite se extienda más allá de lo que los humanos pueden evaluar, los humanos seguirán siendo proveedores esenciales de retroalimentación».
No todas las empresas pueden o deben crear su propio modelo de lenguaje de IA de vanguardia. Sin embargo, el aprovechar controlar el modelo es algo que la mayoría de las empresas pueden y debería personalizar de acuerdo con sus objetivos específicos.
Por supuesto, es más fácil decirlo que hacerlo. ALos arneses de los hombres todavía se ajustan en gran medida mediante depuración manual y ad hoc, un proceso que depende en gran medida de la intuición en lugar de circuitos de retroalimentación sistemáticos, lo que dificulta mantenerse al día con la rápida evolución de los LLM.
Para resolver este desafío, investigadores del Laboratorio de Inteligencia Artificial de Shanghai introdujeron el “Self-Harness”, un nuevo paradigma en el que un agente basado en LLM mejora sistemáticamente sus propias reglas operativas. Al examinar sus propios rastros de ejecución para aplicar cambios, el sistema intercambia conjeturas manuales por evidencia empírica.
Los arneses de mejora automática pueden permitir a los equipos de desarrollo implementar agentes personalizados sólidos que adapten continuamente sus propios protocolos de ejecución para superar las debilidades específicas del modelo.
El desafío de la ingeniería de arneses
El desempeño de un agente basado en LLM no está determinado solo por su modelo base subyacente, sino también por su aprovechamiento: el sistema circundante que proporciona contexto y permite que el modelo interactúe con el entorno. Un arnés incluye componentes como indicaciones del sistema, herramientas, memoria, reglas de verificación, políticas de ejecución, lógica de orquestación y procedimientos de recuperación de fallas.
Esta capa es crucial porque muchas fallas comunes de los agentes provienen del arnés y no del modelo. Por ejemplo, un agente puede informar el éxito sin verificar la respuesta del modelo (por ejemplo, ejecutar el código para ver si pasa las pruebas) o puede volver a intentar una acción que falló varias veces. El arnés también es responsable de evitar la degradación o sobrecarga del contexto cuando el historial de interacción del agente se vuelve muy grande. Ejemplos de arneses populares incluyen SWE-agent, Claude Code, Codex y OpenHands.
La ingeniería de arneses sigue siendo un desafío importante, pero el cuello de botella no se debe necesariamente a que los humanos sean demasiado lentos o incapaces.
De hecho, Hangfan Zhang, autor principal del artículo Self-Harness, dijo a VentureBeat que «en muchos casos, un ingeniero experimentado con un profundo conocimiento del dominio aún puede generar mejores cambios que los que puede lograr un LLM en la actualidad».
En cambio, el verdadero cuello de botella de la ingeniería manual es que depende en gran medida de la depuración ad hoc en lugar de un circuito de retroalimentación empírica verificable. «El problema más profundo es que el paradigma actual de ingeniería de arneses a menudo carece de un circuito de retroalimentación sistemático», explicó Zhang. «Muchos cambios se realizan basándose en la intuición, algunos fallos observados o una depuración ad hoc».
Con el rápido lanzamiento de nuevos modelos, se está volviendo cada vez más costoso e insostenible depender de la intuición humana para ajustar manualmente los arneses específicos del modelo. Aunque algunos enfoques utilizan modelos más sólidos para mejorar las capacidades de los agentes objetivo más débiles, esta dependencia de la orientación externa presenta sus propios desafíos, ya que estos modelos pueden ser costosos, no estar disponibles para los modelos de frontera o pueden no coincidir con los modos de falla del modelo objetivo.
¿Cómo funciona el autoarnés?
El paradigma Self-Harness permite a un agente basado en LLM mejorar su propio aprovechamiento sin depender de ingenieros humanos o modelos externos más potentes.
Esta autoevolución continua está impulsada por un ciclo iterativo de tres pasos que transforma la evidencia de comportamiento en actualizaciones operativas:
-
Exploración de debilidades: A partir de un aprovechamiento inicial, el agente ejecuta un conjunto de tareas, produciendo seguimientos de ejecución con resultados verificables. El agente clasifica los rastros de fallas e intenta detectar patrones de falla específicos del modelo.
-
Sugerencia de arnés: Con base en estos modelos de falla, el agente utiliza un rol de «proponente» para generar un conjunto de modificaciones de arnés diversas pero pequeñas, cada una vinculada a un mecanismo de falla específico para evitar soluciones demasiado generales.
-
Validación de la propuesta: El sistema evalúa los cambios de candidatos mediante pruebas de regresión. Se promueve un cambio sólo si mejora el rendimiento sin causar una degradación mensurable en las tareas suspendidas. Si varios cambios candidatos pasan las pruebas de regresión, se fusionan en la siguiente versión del arnés, que luego sirve como punto de partida para la siguiente iteración.
Para visualizar por qué una empresa necesitaría uno, imagine un agente automatizado de resolución de problemas que lea la documentación interna, escriba parches y abra solicitudes de extracción. Si la empresa actualiza su estilo de documentación, el agente puede fallar repentinamente, obteniendo el contexto incorrecto o escribiendo correcciones incorrectas.
En la superficie, el agente simplemente parece roto. Pero Self-Harness convierte este ambiguo fracaso en un problema con solución. «Los rastros de fallas revelan dónde el agente está haciendo un mal uso del nuevo formato de documentación; el proponente puede generar una modificación específica del haz… y el evaluador puede decidir si esta modificación mejora los casos de falla sin hacer retroceder los otros casos», dijo Zhang.
El autoaprovechamiento en acción
Los investigadores evaluaron Self-Harness en Terminal-Bench-2.0, un punto de referencia que prueba la ejecución general basada en herramientas, incluido el manejo de artefactos, el uso de comandos, el comportamiento de verificación y la recuperación de errores de tiempo de ejecución. Aplicaron autoarnés con MiniMax M2.5, Qwen3.5-35B-A3B y GLM-5.
Para aislar el impacto del arnés autoescalable, comenzaron con un arnés mínimo construido sobre el SDK de DeepAgent, que contiene solo el indicador del sistema orientado a pruebas comparativas, así como el sistema de archivos predeterminado y las herramientas de shell. El backend del modelo, el conjunto de herramientas, el entorno de referencia y el evaluador se mantuvieron sin cambios, mientras que solo se permitió variar el arnés.
Los resultados cuantitativos muestran que Los oficiales mejoraron su desempeño mediante modificaciones automatizadas del arnés. Sobre las tareas retenidas, El rendimiento aumentó significativamente en todos los ámbitos, entre un 33 y un 60 por ciento. mejoras relativas para diferentes modelos.
Es importante señalar que una regla de aceptación explícita sólo favorece los cambios que mejoran el desempeño sin introducir regresiones inaceptables. Lo que hace que Self-Harness sea poderoso para las aplicaciones empresariales es que no solo alarga el mensaje o agrega instrucciones genéricas. En cambio, introduce cambios específicos que reflejan problemas recurrentes que cada modelo encuentra cuando se ejecuta.
Por ejemplo, bajo el arnés básico, MiniMax M2.5 se quedaría atascado explorando sin cesar las configuraciones del conjunto de datos hasta que expire el tiempo de espera del entorno, sin poder producir ningún entregable. Al utilizar Self-Harness, el sistema identificó esta falla específica y escribió un «interruptor de bucle» en su política de ejecución, lo que obligó al agente a detenerse y redirigir su enfoque después de 50 llamadas a la herramienta. También agregó una regla para crear una versión inicial de los artefactos requeridos lo antes posible.
Por otro lado, Qwen-3.5 tenía la costumbre de encontrar un error de sobrescritura de archivos y luego volver a intentar ciegamente el mismo comando repetidamente, eliminando eventualmente los archivos necesarios en confusión antes de detenerse. El autoaprovechamiento resolvió este problema introduciendo una estricta disciplina de reintento de comandos (que prohíbe comandos duplicados exactos) y un mecanismo que requería que el agente recreara inmediatamente cualquier artefacto faltante si ocurría un error en el archivo.
GLM-5 tenía dificultades para preservar los cambios de entorno en diferentes comandos y, a menudo, perdía tiempo en descargas masivas o finalizando tareas incluso cuando fallaban las comprobaciones de integridad. Su arnés autogenerado introdujo reglas que instruyen al agente a conservar las variables PATH en las sesiones del shell, limitar el cálculo externo y reparar cualquier verificación de integridad fallida antes de concluir su ejecución.
Los costos ocultos de los arneses automatizados
Si bien Self-Harness automatiza el tedioso trabajo de detectar fallas idiosincrásicas del modelo, los tomadores de decisiones deben ser realistas acerca de las compensaciones que deben realizarse. Reemplazar la ingeniería humana con prueba y error automatizados requiere una importante sobrecarga computacional.
«El autoarnés reemplaza parte de la carga de la ingeniería humana con la generación repetida de propuestas, la evaluación paralela de candidatos y las pruebas de regresión», dijo Zhang. «Esto puede significar más tokens API, más latencia durante la optimización y más infraestructura para ejecutar tareas de evaluación».
Además, este sistema depende de la precisión de su proceso de evaluación. Durante sus experimentos en Terminal-Bench-2.0, los investigadores se basaron en verificadores estrictos y deterministas para garantizar que los cambios realizados por el agente fueran realmente útiles. Sin esta rigurosa verdad sobre el terreno, un sistema automatizado corre el riesgo de favorecer malas actualizaciones. «[The] el sistema de evaluación no es un componente opcional; es lo que nos permite cambiar la intuición humana por evidencia empírica”, dijo Zhang.
Esta dependencia de inspectores estrictos también dicta dónde se debe implementar el autoarnés. «Los mejores objetivos de implementación hoy en día son entornos donde se pueden medir las fallas y el ensayo y error es relativamente seguro», dijo Zhang, citando la codificación, la automatización del flujo de trabajo interno y los canales de datos de DevOps como casos de uso ideales.
Por el contrario, las empresas deben evitar automatizar completamente las operaciones en áreas subjetivas o de alto riesgo. «Las señales de alerta más obvias son áreas donde la evaluación es subjetiva, retrasada, no determinista o costosa, como la toma de decisiones médicas, la infraestructura crítica para la seguridad o las decisiones legales».
De diseñadores rápidos a arquitectos de retroalimentación
La introducción de agentes de mejora personal no significa que la codificación o los flujos de trabajo empresariales de repente quedarán libres de la intervención humana. La calidad de la colaboración entre el ingeniero humano y la IA sigue siendo esencial y difícil de capturar con puntos de referencia automatizados.
En cambio, la profesión de ingeniería avanza a través de la capa de abstracción. «El papel de los ingenieros empresariales pasará de aplicar manualmente parches individuales a avisos o llamadas de herramientas a diseñar sistemas de retroalimentación que hagan posible la mejora de los agentes», predijo Zhang. En el futuro, “el ingeniero dejará de ser un simple desarrollador y se convertirá más en un arquitecto de retroalimentación”.
A medida que los diseños fundamentales se vuelvan más capaces, naturalmente absorberán muchas características que actualmente requieren ingeniería de cableado manual. «Pero una vez que eso suceda, el arnés no desaparecerá; su alcance se extenderá hacia afuera para conectar el modelo con ambientes externos más ricos», dijo Zhang. «Hasta que este límite se extienda más allá de lo que los humanos pueden evaluar, los humanos seguirán siendo proveedores esenciales de retroalimentación».
No todas las empresas pueden o deben crear su propio modelo de lenguaje de IA de vanguardia. Sin embargo, el aprovechar controlar el modelo es algo que la mayoría de las empresas pueden y debería personalizar de acuerdo con sus objetivos específicos.
Por supuesto, es más fácil decirlo que hacerlo. ALos arneses de los hombres todavía se ajustan en gran medida mediante depuración manual y ad hoc, un proceso que depende en gran medida de la intuición en lugar de circuitos de retroalimentación sistemáticos, lo que dificulta mantenerse al día con la rápida evolución de los LLM.
Para resolver este desafío, investigadores del Laboratorio de Inteligencia Artificial de Shanghai introdujeron el “Self-Harness”, un nuevo paradigma en el que un agente basado en LLM mejora sistemáticamente sus propias reglas operativas. Al examinar sus propios rastros de ejecución para aplicar cambios, el sistema intercambia conjeturas manuales por evidencia empírica.
Los arneses de mejora automática pueden permitir a los equipos de desarrollo implementar agentes personalizados sólidos que adapten continuamente sus propios protocolos de ejecución para superar las debilidades específicas del modelo.
El desafío de la ingeniería de arneses
El desempeño de un agente basado en LLM no está determinado solo por su modelo base subyacente, sino también por su aprovechamiento: el sistema circundante que proporciona contexto y permite que el modelo interactúe con el entorno. Un arnés incluye componentes como indicaciones del sistema, herramientas, memoria, reglas de verificación, políticas de ejecución, lógica de orquestación y procedimientos de recuperación de fallas.
Esta capa es crucial porque muchas fallas comunes de los agentes provienen del arnés y no del modelo. Por ejemplo, un agente puede informar el éxito sin verificar la respuesta del modelo (por ejemplo, ejecutar el código para ver si pasa las pruebas) o puede volver a intentar una acción que falló varias veces. El arnés también es responsable de evitar la degradación o sobrecarga del contexto cuando el historial de interacción del agente se vuelve muy grande. Ejemplos de arneses populares incluyen SWE-agent, Claude Code, Codex y OpenHands.
La ingeniería de arneses sigue siendo un desafío importante, pero el cuello de botella no se debe necesariamente a que los humanos sean demasiado lentos o incapaces.
De hecho, Hangfan Zhang, autor principal del artículo Self-Harness, dijo a VentureBeat que «en muchos casos, un ingeniero experimentado con un profundo conocimiento del dominio aún puede generar mejores cambios que los que puede lograr un LLM en la actualidad».
En cambio, el verdadero cuello de botella de la ingeniería manual es que depende en gran medida de la depuración ad hoc en lugar de un circuito de retroalimentación empírica verificable. «El problema más profundo es que el paradigma actual de ingeniería de arneses a menudo carece de un circuito de retroalimentación sistemático», explicó Zhang. «Muchos cambios se realizan basándose en la intuición, algunos fallos observados o una depuración ad hoc».
Con el rápido lanzamiento de nuevos modelos, se está volviendo cada vez más costoso e insostenible depender de la intuición humana para ajustar manualmente los arneses específicos del modelo. Aunque algunos enfoques utilizan modelos más sólidos para mejorar las capacidades de los agentes objetivo más débiles, esta dependencia de la orientación externa presenta sus propios desafíos, ya que estos modelos pueden ser costosos, no estar disponibles para los modelos de frontera o pueden no coincidir con los modos de falla del modelo objetivo.
¿Cómo funciona el autoarnés?
El paradigma Self-Harness permite a un agente basado en LLM mejorar su propio aprovechamiento sin depender de ingenieros humanos o modelos externos más potentes.
Esta autoevolución continua está impulsada por un ciclo iterativo de tres pasos que transforma la evidencia de comportamiento en actualizaciones operativas:
-
Exploración de debilidades: A partir de un aprovechamiento inicial, el agente ejecuta un conjunto de tareas, produciendo seguimientos de ejecución con resultados verificables. El agente clasifica los rastros de fallas e intenta detectar patrones de falla específicos del modelo.
-
Sugerencia de arnés: Con base en estos modelos de falla, el agente utiliza un rol de «proponente» para generar un conjunto de modificaciones de arnés diversas pero pequeñas, cada una vinculada a un mecanismo de falla específico para evitar soluciones demasiado generales.
-
Validación de la propuesta: El sistema evalúa los cambios de candidatos mediante pruebas de regresión. Se promueve un cambio sólo si mejora el rendimiento sin causar una degradación mensurable en las tareas suspendidas. Si varios cambios candidatos pasan las pruebas de regresión, se fusionan en la siguiente versión del arnés, que luego sirve como punto de partida para la siguiente iteración.
Para visualizar por qué una empresa necesitaría uno, imagine un agente automatizado de resolución de problemas que lea la documentación interna, escriba parches y abra solicitudes de extracción. Si la empresa actualiza su estilo de documentación, el agente puede fallar repentinamente, obteniendo el contexto incorrecto o escribiendo correcciones incorrectas.
En la superficie, el agente simplemente parece roto. Pero Self-Harness convierte este ambiguo fracaso en un problema con solución. «Los rastros de fallas revelan dónde el agente está haciendo un mal uso del nuevo formato de documentación; el proponente puede generar una modificación específica del haz… y el evaluador puede decidir si esta modificación mejora los casos de falla sin hacer retroceder los otros casos», dijo Zhang.
El autoaprovechamiento en acción
Los investigadores evaluaron Self-Harness en Terminal-Bench-2.0, un punto de referencia que prueba la ejecución general basada en herramientas, incluido el manejo de artefactos, el uso de comandos, el comportamiento de verificación y la recuperación de errores de tiempo de ejecución. Aplicaron autoarnés con MiniMax M2.5, Qwen3.5-35B-A3B y GLM-5.
Para aislar el impacto del arnés autoescalable, comenzaron con un arnés mínimo construido sobre el SDK de DeepAgent, que contiene solo el indicador del sistema orientado a pruebas comparativas, así como el sistema de archivos predeterminado y las herramientas de shell. El backend del modelo, el conjunto de herramientas, el entorno de referencia y el evaluador se mantuvieron sin cambios, mientras que solo se permitió variar el arnés.
Los resultados cuantitativos muestran que Los oficiales mejoraron su desempeño mediante modificaciones automatizadas del arnés. Sobre las tareas retenidas, El rendimiento aumentó significativamente en todos los ámbitos, entre un 33 y un 60 por ciento. mejoras relativas para diferentes modelos.
Es importante señalar que una regla de aceptación explícita sólo favorece los cambios que mejoran el desempeño sin introducir regresiones inaceptables. Lo que hace que Self-Harness sea poderoso para las aplicaciones empresariales es que no solo alarga el mensaje o agrega instrucciones genéricas. En cambio, introduce cambios específicos que reflejan problemas recurrentes que cada modelo encuentra cuando se ejecuta.
Por ejemplo, bajo el arnés básico, MiniMax M2.5 se quedaría atascado explorando sin cesar las configuraciones del conjunto de datos hasta que expire el tiempo de espera del entorno, sin poder producir ningún entregable. Al utilizar Self-Harness, el sistema identificó esta falla específica y escribió un «interruptor de bucle» en su política de ejecución, lo que obligó al agente a detenerse y redirigir su enfoque después de 50 llamadas a la herramienta. También agregó una regla para crear una versión inicial de los artefactos requeridos lo antes posible.
Por otro lado, Qwen-3.5 tenía la costumbre de encontrar un error de sobrescritura de archivos y luego volver a intentar ciegamente el mismo comando repetidamente, eliminando eventualmente los archivos necesarios en confusión antes de detenerse. El autoaprovechamiento resolvió este problema introduciendo una estricta disciplina de reintento de comandos (que prohíbe comandos duplicados exactos) y un mecanismo que requería que el agente recreara inmediatamente cualquier artefacto faltante si ocurría un error en el archivo.
GLM-5 tenía dificultades para preservar los cambios de entorno en diferentes comandos y, a menudo, perdía tiempo en descargas masivas o finalizando tareas incluso cuando fallaban las comprobaciones de integridad. Su arnés autogenerado introdujo reglas que instruyen al agente a conservar las variables PATH en las sesiones del shell, limitar el cálculo externo y reparar cualquier verificación de integridad fallida antes de concluir su ejecución.
Los costos ocultos de los arneses automatizados
Si bien Self-Harness automatiza el tedioso trabajo de detectar fallas idiosincrásicas del modelo, los tomadores de decisiones deben ser realistas acerca de las compensaciones que deben realizarse. Reemplazar la ingeniería humana con prueba y error automatizados requiere una importante sobrecarga computacional.
«El autoarnés reemplaza parte de la carga de la ingeniería humana con la generación repetida de propuestas, la evaluación paralela de candidatos y las pruebas de regresión», dijo Zhang. «Esto puede significar más tokens API, más latencia durante la optimización y más infraestructura para ejecutar tareas de evaluación».
Además, este sistema depende de la precisión de su proceso de evaluación. Durante sus experimentos en Terminal-Bench-2.0, los investigadores se basaron en verificadores estrictos y deterministas para garantizar que los cambios realizados por el agente fueran realmente útiles. Sin esta rigurosa verdad sobre el terreno, un sistema automatizado corre el riesgo de favorecer malas actualizaciones. «[The] el sistema de evaluación no es un componente opcional; es lo que nos permite cambiar la intuición humana por evidencia empírica”, dijo Zhang.
Esta dependencia de inspectores estrictos también dicta dónde se debe implementar el autoarnés. «Los mejores objetivos de implementación hoy en día son entornos donde se pueden medir las fallas y el ensayo y error es relativamente seguro», dijo Zhang, citando la codificación, la automatización del flujo de trabajo interno y los canales de datos de DevOps como casos de uso ideales.
Por el contrario, las empresas deben evitar automatizar completamente las operaciones en áreas subjetivas o de alto riesgo. «Las señales de alerta más obvias son áreas donde la evaluación es subjetiva, retrasada, no determinista o costosa, como la toma de decisiones médicas, la infraestructura crítica para la seguridad o las decisiones legales».
De diseñadores rápidos a arquitectos de retroalimentación
La introducción de agentes de mejora personal no significa que la codificación o los flujos de trabajo empresariales de repente quedarán libres de la intervención humana. La calidad de la colaboración entre el ingeniero humano y la IA sigue siendo esencial y difícil de capturar con puntos de referencia automatizados.
En cambio, la profesión de ingeniería avanza a través de la capa de abstracción. «El papel de los ingenieros empresariales pasará de aplicar manualmente parches individuales a avisos o llamadas de herramientas a diseñar sistemas de retroalimentación que hagan posible la mejora de los agentes», predijo Zhang. En el futuro, “el ingeniero dejará de ser un simple desarrollador y se convertirá más en un arquitecto de retroalimentación”.
A medida que los diseños fundamentales se vuelvan más capaces, naturalmente absorberán muchas características que actualmente requieren ingeniería de cableado manual. «Pero una vez que eso suceda, el arnés no desaparecerá; su alcance se extenderá hacia afuera para conectar el modelo con ambientes externos más ricos», dijo Zhang. «Hasta que este límite se extienda más allá de lo que los humanos pueden evaluar, los humanos seguirán siendo proveedores esenciales de retroalimentación».
No todas las empresas pueden o deben crear su propio modelo de lenguaje de IA de vanguardia. Sin embargo, el aprovechar controlar el modelo es algo que la mayoría de las empresas pueden y debería personalizar de acuerdo con sus objetivos específicos.
Por supuesto, es más fácil decirlo que hacerlo. ALos arneses de los hombres todavía se ajustan en gran medida mediante depuración manual y ad hoc, un proceso que depende en gran medida de la intuición en lugar de circuitos de retroalimentación sistemáticos, lo que dificulta mantenerse al día con la rápida evolución de los LLM.
Para resolver este desafío, investigadores del Laboratorio de Inteligencia Artificial de Shanghai introdujeron el “Self-Harness”, un nuevo paradigma en el que un agente basado en LLM mejora sistemáticamente sus propias reglas operativas. Al examinar sus propios rastros de ejecución para aplicar cambios, el sistema intercambia conjeturas manuales por evidencia empírica.
Los arneses de mejora automática pueden permitir a los equipos de desarrollo implementar agentes personalizados sólidos que adapten continuamente sus propios protocolos de ejecución para superar las debilidades específicas del modelo.
El desafío de la ingeniería de arneses
El desempeño de un agente basado en LLM no está determinado solo por su modelo base subyacente, sino también por su aprovechamiento: el sistema circundante que proporciona contexto y permite que el modelo interactúe con el entorno. Un arnés incluye componentes como indicaciones del sistema, herramientas, memoria, reglas de verificación, políticas de ejecución, lógica de orquestación y procedimientos de recuperación de fallas.
Esta capa es crucial porque muchas fallas comunes de los agentes provienen del arnés y no del modelo. Por ejemplo, un agente puede informar el éxito sin verificar la respuesta del modelo (por ejemplo, ejecutar el código para ver si pasa las pruebas) o puede volver a intentar una acción que falló varias veces. El arnés también es responsable de evitar la degradación o sobrecarga del contexto cuando el historial de interacción del agente se vuelve muy grande. Ejemplos de arneses populares incluyen SWE-agent, Claude Code, Codex y OpenHands.
La ingeniería de arneses sigue siendo un desafío importante, pero el cuello de botella no se debe necesariamente a que los humanos sean demasiado lentos o incapaces.
De hecho, Hangfan Zhang, autor principal del artículo Self-Harness, dijo a VentureBeat que «en muchos casos, un ingeniero experimentado con un profundo conocimiento del dominio aún puede generar mejores cambios que los que puede lograr un LLM en la actualidad».
En cambio, el verdadero cuello de botella de la ingeniería manual es que depende en gran medida de la depuración ad hoc en lugar de un circuito de retroalimentación empírica verificable. «El problema más profundo es que el paradigma actual de ingeniería de arneses a menudo carece de un circuito de retroalimentación sistemático», explicó Zhang. «Muchos cambios se realizan basándose en la intuición, algunos fallos observados o una depuración ad hoc».
Con el rápido lanzamiento de nuevos modelos, se está volviendo cada vez más costoso e insostenible depender de la intuición humana para ajustar manualmente los arneses específicos del modelo. Aunque algunos enfoques utilizan modelos más sólidos para mejorar las capacidades de los agentes objetivo más débiles, esta dependencia de la orientación externa presenta sus propios desafíos, ya que estos modelos pueden ser costosos, no estar disponibles para los modelos de frontera o pueden no coincidir con los modos de falla del modelo objetivo.
¿Cómo funciona el autoarnés?
El paradigma Self-Harness permite a un agente basado en LLM mejorar su propio aprovechamiento sin depender de ingenieros humanos o modelos externos más potentes.
Esta autoevolución continua está impulsada por un ciclo iterativo de tres pasos que transforma la evidencia de comportamiento en actualizaciones operativas:
-
Exploración de debilidades: A partir de un aprovechamiento inicial, el agente ejecuta un conjunto de tareas, produciendo seguimientos de ejecución con resultados verificables. El agente clasifica los rastros de fallas e intenta detectar patrones de falla específicos del modelo.
-
Sugerencia de arnés: Con base en estos modelos de falla, el agente utiliza un rol de «proponente» para generar un conjunto de modificaciones de arnés diversas pero pequeñas, cada una vinculada a un mecanismo de falla específico para evitar soluciones demasiado generales.
-
Validación de la propuesta: El sistema evalúa los cambios de candidatos mediante pruebas de regresión. Se promueve un cambio sólo si mejora el rendimiento sin causar una degradación mensurable en las tareas suspendidas. Si varios cambios candidatos pasan las pruebas de regresión, se fusionan en la siguiente versión del arnés, que luego sirve como punto de partida para la siguiente iteración.
Para visualizar por qué una empresa necesitaría uno, imagine un agente automatizado de resolución de problemas que lea la documentación interna, escriba parches y abra solicitudes de extracción. Si la empresa actualiza su estilo de documentación, el agente puede fallar repentinamente, obteniendo el contexto incorrecto o escribiendo correcciones incorrectas.
En la superficie, el agente simplemente parece roto. Pero Self-Harness convierte este ambiguo fracaso en un problema con solución. «Los rastros de fallas revelan dónde el agente está haciendo un mal uso del nuevo formato de documentación; el proponente puede generar una modificación específica del haz… y el evaluador puede decidir si esta modificación mejora los casos de falla sin hacer retroceder los otros casos», dijo Zhang.
El autoaprovechamiento en acción
Los investigadores evaluaron Self-Harness en Terminal-Bench-2.0, un punto de referencia que prueba la ejecución general basada en herramientas, incluido el manejo de artefactos, el uso de comandos, el comportamiento de verificación y la recuperación de errores de tiempo de ejecución. Aplicaron autoarnés con MiniMax M2.5, Qwen3.5-35B-A3B y GLM-5.
Para aislar el impacto del arnés autoescalable, comenzaron con un arnés mínimo construido sobre el SDK de DeepAgent, que contiene solo el indicador del sistema orientado a pruebas comparativas, así como el sistema de archivos predeterminado y las herramientas de shell. El backend del modelo, el conjunto de herramientas, el entorno de referencia y el evaluador se mantuvieron sin cambios, mientras que solo se permitió variar el arnés.
Los resultados cuantitativos muestran que Los oficiales mejoraron su desempeño mediante modificaciones automatizadas del arnés. Sobre las tareas retenidas, El rendimiento aumentó significativamente en todos los ámbitos, entre un 33 y un 60 por ciento. mejoras relativas para diferentes modelos.
Es importante señalar que una regla de aceptación explícita sólo favorece los cambios que mejoran el desempeño sin introducir regresiones inaceptables. Lo que hace que Self-Harness sea poderoso para las aplicaciones empresariales es que no solo alarga el mensaje o agrega instrucciones genéricas. En cambio, introduce cambios específicos que reflejan problemas recurrentes que cada modelo encuentra cuando se ejecuta.
Por ejemplo, bajo el arnés básico, MiniMax M2.5 se quedaría atascado explorando sin cesar las configuraciones del conjunto de datos hasta que expire el tiempo de espera del entorno, sin poder producir ningún entregable. Al utilizar Self-Harness, el sistema identificó esta falla específica y escribió un «interruptor de bucle» en su política de ejecución, lo que obligó al agente a detenerse y redirigir su enfoque después de 50 llamadas a la herramienta. También agregó una regla para crear una versión inicial de los artefactos requeridos lo antes posible.
Por otro lado, Qwen-3.5 tenía la costumbre de encontrar un error de sobrescritura de archivos y luego volver a intentar ciegamente el mismo comando repetidamente, eliminando eventualmente los archivos necesarios en confusión antes de detenerse. El autoaprovechamiento resolvió este problema introduciendo una estricta disciplina de reintento de comandos (que prohíbe comandos duplicados exactos) y un mecanismo que requería que el agente recreara inmediatamente cualquier artefacto faltante si ocurría un error en el archivo.
GLM-5 tenía dificultades para preservar los cambios de entorno en diferentes comandos y, a menudo, perdía tiempo en descargas masivas o finalizando tareas incluso cuando fallaban las comprobaciones de integridad. Su arnés autogenerado introdujo reglas que instruyen al agente a conservar las variables PATH en las sesiones del shell, limitar el cálculo externo y reparar cualquier verificación de integridad fallida antes de concluir su ejecución.
Los costos ocultos de los arneses automatizados
Si bien Self-Harness automatiza el tedioso trabajo de detectar fallas idiosincrásicas del modelo, los tomadores de decisiones deben ser realistas acerca de las compensaciones que deben realizarse. Reemplazar la ingeniería humana con prueba y error automatizados requiere una importante sobrecarga computacional.
«El autoarnés reemplaza parte de la carga de la ingeniería humana con la generación repetida de propuestas, la evaluación paralela de candidatos y las pruebas de regresión», dijo Zhang. «Esto puede significar más tokens API, más latencia durante la optimización y más infraestructura para ejecutar tareas de evaluación».
Además, este sistema depende de la precisión de su proceso de evaluación. Durante sus experimentos en Terminal-Bench-2.0, los investigadores se basaron en verificadores estrictos y deterministas para garantizar que los cambios realizados por el agente fueran realmente útiles. Sin esta rigurosa verdad sobre el terreno, un sistema automatizado corre el riesgo de favorecer malas actualizaciones. «[The] el sistema de evaluación no es un componente opcional; es lo que nos permite cambiar la intuición humana por evidencia empírica”, dijo Zhang.
Esta dependencia de inspectores estrictos también dicta dónde se debe implementar el autoarnés. «Los mejores objetivos de implementación hoy en día son entornos donde se pueden medir las fallas y el ensayo y error es relativamente seguro», dijo Zhang, citando la codificación, la automatización del flujo de trabajo interno y los canales de datos de DevOps como casos de uso ideales.
Por el contrario, las empresas deben evitar automatizar completamente las operaciones en áreas subjetivas o de alto riesgo. «Las señales de alerta más obvias son áreas donde la evaluación es subjetiva, retrasada, no determinista o costosa, como la toma de decisiones médicas, la infraestructura crítica para la seguridad o las decisiones legales».
De diseñadores rápidos a arquitectos de retroalimentación
La introducción de agentes de mejora personal no significa que la codificación o los flujos de trabajo empresariales de repente quedarán libres de la intervención humana. La calidad de la colaboración entre el ingeniero humano y la IA sigue siendo esencial y difícil de capturar con puntos de referencia automatizados.
En cambio, la profesión de ingeniería avanza a través de la capa de abstracción. «El papel de los ingenieros empresariales pasará de aplicar manualmente parches individuales a avisos o llamadas de herramientas a diseñar sistemas de retroalimentación que hagan posible la mejora de los agentes», predijo Zhang. En el futuro, “el ingeniero dejará de ser un simple desarrollador y se convertirá más en un arquitecto de retroalimentación”.
A medida que los diseños fundamentales se vuelvan más capaces, naturalmente absorberán muchas características que actualmente requieren ingeniería de cableado manual. «Pero una vez que eso suceda, el arnés no desaparecerá; su alcance se extenderá hacia afuera para conectar el modelo con ambientes externos más ricos», dijo Zhang. «Hasta que este límite se extienda más allá de lo que los humanos pueden evaluar, los humanos seguirán siendo proveedores esenciales de retroalimentación».
