Des méta-chercheurs ont enseigné un modèle d’IA 8B pour correspondre à Claude Opus 4.5 – sans le prix frontière

Imaginez un agent IA chargé d’un flux de travail d’entreprise complexe, comme la migration de lots massifs d’enregistrements clients d’un ancien CRM vers une base de données cloud. L’agent ne peut pas s’appuyer uniquement sur sa fenêtre de contexte interne pour une tâche s’étendant sur plusieurs heures et dépend de la couche d’exécution, c’est-à-dire le harnais.

Cet exploit fournit des commentaires sur l’exécution, comme les journaux du serveur, pour aider l’agent à maintenir une compréhension précise des connexions API dynamiques. Il fournit également des trackers d’état et des mécanismes de flux de contrôle pour gérer les sous-objectifs terminés et en attente, garantissant que l’agent ne saute pas ou ne duplique pas les lots de données. Lorsque des erreurs inattendues se produisent, telles qu’une base de données rejetant un lot en raison de limites strictes de débit API, le harnais fournit des outils et des instructions pour aider l’agent à récupérer.

Le principal moyen d’indiquer à un agent comment et quand utiliser ses outils est de demander à un développeur humain d’écrire un ensemble de règles et d’instructions lui indiquant quoi faire étape par étape. Par exemple, un développeur peut demander à l’agent de toujours effectuer une recherche sur le wiki de l’entreprise avant d’écrire un e-mail. Parce que l’agent ne fait que suivre un scénario rigide, il lui manque une véritable autonomie. Elle n’a pas été formée pour évaluer de manière indépendante les coûts et les avantages de ses actions.

Pour résoudre ce problème, des chercheurs de Meta AI et de l’Université de l’Illinois Urbana-Champaign introduisent EvoHarness-RL, un cadre qui ajoute une couche d’abstraction au harnais de l’agent et enseigne au modèle sous-jacent quand lire, mettre à jour ou consolider les informations qu’il obtient de son environnement.

Dans les tâches à long terme, la manière dont les agents d’IA lisent et traitent les informations qu’ils obtiennent de leur environnement est essentielle à leur réussite. L’agent doit mettre à jour sa compréhension de son environnement, suivre les sous-objectifs terminés et en attente, récupérer des actions ayant échoué et réutiliser les procédures de l’expérience précédente. Cette exécution dépend du harnais.

Une série de cadres agents auto-évolutifs comme Harness-1 résolvent une partie du problème en accumulant des trajectoires passées et en les distillant dans une mémoire procédurale structurée, comme des compétences réutilisables, des flux de travail ou des bibliothèques de codes pour les tâches futures. Cependant, ils séparent généralement cette conservation des compétences à long terme du suivi de l’état en temps réel au sein de l’épisode. Ils ne forment pas activement l’agent sur la façon de gérer sa réalité environnementale immédiate ou de suivre les étapes de ses tâches actives pendant son travail.

Xuying Ning, co-auteur de l’article EvoHarness-RL, a déclaré à VentureBeat que la logique manuelle et les structures de mémoire rigides sont les principaux responsables de la consommation de ressources d’ingénierie.

«Le harnais optimal change souvent selon le modèle», a expliqué Ning. «Différents modèles peuvent nécessiter des invites, des conceptions de mémoire, des autorisations ou des configurations de bac à sable différentes. Si toute cette logique est codée manuellement, chaque mise à niveau de modèle peut conduire à un autre long cycle de réglage et de débogage.»

De plus, les systèmes de mémoire existants qui accumulent simplement de l’expérience peuvent activement dégrader le raisonnement d’un agent. «La mémoire ajoutée uniquement suppose qu’un plus grand contexte est toujours utile, ce qui n’est pas nécessairement vrai», a déclaré Ning. «Au cours d’une tâche longue, la mémoire peut contenir des conclusions obsolètes, des tentatives infructueuses ou des informations qui ne sont plus pertinentes.» Par conséquent, les agents à long terme ont besoin d’une mémoire dynamique capable de mettre à jour, de compresser et de remplacer les informations pour éviter de répéter les erreurs du passé.

EvoHarness-RL : Un espace de travail unifié de croyance, de progrès et d’expérience

Pour surmonter les limites des invites manuelles rigides, les chercheurs introduisent EvoHarness-RL, une technique de formation qui apprend à l’agent à utiliser de manière optimale son harnais. Au lieu de suivre aveuglément des instructions codées en dur, l’agent apprend à construire un espace de travail structuré à partir de données d’exécution désordonnées et décide quand et comment consulter cet état externe lors de flux de travail complexes.

Pour simplifier la gestion des différents composants du harnais, EvoHarness-RL consolide les systèmes de support de l’agent en une interface unique et unifiée. Cette interface, connue sous le nom de Croyance, Progrès et Expérience (BPE), catégorise les besoins externes de l’agent en trois domaines fonctionnels :

• Croyance: Maintenir une lecture précise de l’environnement actuel.

• Progrès: Gérez les sous-objectifs terminés et en attente.

• Expérience: Réutilisez les connaissances historiques dans toutes les tâches.

Au lieu d’utiliser des API complexes spécifiques à un domaine, l’IA interagit avec ce tableau de bord clair à l’aide de quatre méta-actions compactes : suivre, valider, rappeler et noter. Il émet des commandes pour suivre l’environnement en direct, s’engager dans les mises à jour du flux de travail, rappeler les stratégies passées avant d’agir et rédiger des notes pour enregistrer les informations nouvellement découvertes pour les exécutions futures.

Ces États correspondent directement aux secteurs verticaux d’entreprises à forte valeur ajoutée. «En génie logiciel, Belief peut représenter la compréhension actuelle du référentiel par l’agent», a déclaré Ning, détaillant comment l’agent surveille les interactions des composants et les modifications de l’espace de travail. «Les progrès suivent ce qui a déjà été réalisé, ce qui reste à faire et quelles étapes dépendent des autres.» Pendant ce temps, Experience capture les leçons, comme les commentaires des utilisateurs sur une erreur, pour guider les actions futures.

La même idée s’applique à la finance, a déclaré Ning. Lors d’un audit de conformité, Belief peut décrire les règles applicables et les preuves disponibles. La progression permet de savoir quelles vérifications ont été effectuées et quelles exceptions restent ouvertes. L’expérience aide l’agent à reconnaître les écarts récurrents ou à savoir quand un problème doit être signalé.

«Ensemble, ces états aident à empêcher l’agent de perdre la trace de son travail ou de répéter la même approche échouée», a déclaré Ning.

Pour enseigner à l’agent à la fois la mécanique et la stratégie de gestion de son espace de travail externe, les chercheurs ont conçu une recette de formation en deux étapes. Dans la première étape, le réglage fin supervisé du harnais, le modèle de base apprend à extraire et structurer des faits utiles à partir de journaux d’interactions désordonnés dans le cadre BPE.

Cependant, interroger la mémoire ou mettre à jour les trackers consomme du temps et des jetons de calcul, ce qui signifie que l’agent ne peut pas se permettre de vérifier aveuglément ses outils à chaque étape. Pour résoudre ce problème, la deuxième étape utilise l’apprentissage par renforcement « conscient des coûts » pour enseigner à l’agent l’efficacité. Cette phase entraîne l’agent à calculer quand l’accès à son état externe vaut le coût budgétaire. Ce processus en deux étapes transforme l’utilisation des outils d’une invite rigide et codée en dur en un comportement d’exécution appris.

EvoHarness-RL en action

Pour valider EvoHarness-RL, les chercheurs ont évalué le système à l’aide du benchmark ALFWorld, un environnement textuel comportant des tâches en plusieurs étapes qui testent la logique séquentielle et le suivi de l’état.

Ils ont utilisé Qwen3-8B comme modèle de base pour s’entraîner. L’équipe a comparé le modèle 8B formé à trois grands modèles frontières (Claude Opus 4.5, GPT-4.1 et GPT-5), à des cadres d’agents gelés avec des outils statiques (tels que ReAct, ExpeL et ReasoningBank) et à des méthodes avancées pouvant être entraînées (par exemple, GRPO standard, SkillOS et SkillRL).

Les résultats montrent une augmentation significative des performances pour les modèles plus petits et rentables. Avec EvoHarness-RL, le modèle Qwen3-8B a atteint un taux de réussite moyen de 96,9 %, soit une amélioration de 49,0 points de pourcentage par rapport à son homologue ReAct de base.

De plus, le modèle formé a surpassé les frameworks avancés pouvant être entraînés tels que SkillRL (89,9 %) et SkillOS (80,2 %). Ce qui est le plus impressionnant pour les développeurs d’entreprise cherchant à optimiser les coûts de calcul, c’est que le modèle 8B correspondait efficacement au plafond de performances de modèles fermés coûteux comme Claude Opus 4.5, qui a obtenu un score de 96,4 % dès la sortie de la boîte.

Au-delà de l’autonomisation de modèles plus petits, les expériences montrent que le cadre BPE présente des avantages universels à toutes les échelles de modèle, même sans la phase approfondie d’apprentissage par renforcement. Lorsque les chercheurs ont équipé des modèles frontières gelés et prêts à l’emploi avec le harnais de temps d’invite BPE, leur exécution s’est considérablement améliorée. Le taux de réussite de GPT-4.1 s’est amélioré de 22,1 points et celui de GPT-5 de 25,7 points.

Outre les résultats, les chercheurs ont enregistré des effets au cours des expériences qui démontrent le comportement dynamique que les LLM acquièrent au cours de la formation EvoHarness-RL. Au cours de la phase d’apprentissage par renforcement, ils ont observé un changement de comportement au fur et à mesure que l’agent intériorisait ses connaissances au fil du temps, ce qu’ils ont appelé « le recuit de harnais ».

Au début de la formation, l’IA s’est fortement appuyée sur l’interrogation de ses trackers d’expérience et de progression pour presque chaque étape. Cependant, à mesure qu’il maîtrisait les actions de routine, il réduisait activement sa dépendance aux outils externes, intégrant les modèles réussis directement dans ses paramètres. Dans le contexte d’une entreprise réelle, cela se traduit directement par une latence plus faible et des coûts de calcul réduits. En recuit l’utilisation de ses outils, l’IA cesse de perdre des jetons et du temps à interroger les bases de données pour les flux de travail standard qu’elle maîtrise déjà.

Simultanément, l’agent a fait preuve d’une « évolution d’exploitation », où il a adapté de manière dynamique sa stratégie en fonction de la complexité de la situation actuelle. Bien qu’elle ait contourné ses outils pour des tâches simples et familières, elle a activement choisi d’intensifier son utilisation des modules Croyance et Expérience dès qu’elle rencontrait de nouveaux environnements ou des obstacles inattendus. Par exemple, si un agent IA migre des enregistrements de base de données standard, sa migration est rapide. Lorsqu’il rencontre un étrange point de terminaison d’API hérité ou une erreur de validation complexe, il ralentit, extrait les journaux du serveur en direct et interroge ses tickets historiques pour résoudre en toute sécurité le cas limite plutôt que d’avoir des hallucinations.

Intégrer EvoHarness-RL dans les systèmes existants

Malgré ces gains massifs, l’adoption d’un nouveau cadre introduit souvent des frictions pour les équipes d’ingénierie de l’entreprise. Cependant, EvoHarness-RL utilise un adaptateur d’environnement qui permet aux implémentations internes de rester spécifiques au domaine des outils existants d’une organisation tout en partageant la couche pouvant être entraînée.

«Je pense qu’il existe un potentiel important pour intégrer le BPE dans les systèmes d’orchestration existants», a déclaré Ning. «Cela n’oblige pas nécessairement les équipes à remplacer leurs outils ou cadres d’agent actuels. BPE peut fonctionner comme une couche supplémentaire de gestion d’état qui organise en permanence ce que l’agent croit actuellement, jusqu’où il a progressé et ce qu’il a appris.»

Pour les créateurs d’entreprise inquiets des coûts d’inférence, le cadre aborde le coût d’ingénierie caché de la consolidation. Parce que la consolidation nécessite un raisonnement solide, les équipes peuvent adopter une architecture hybride et asynchrone pour optimiser les budgets.

«Un compromis possible consiste à utiliser un modèle frontière pour générer des données de consolidation de haute qualité, puis à affiner un modèle à pondération ouverte capable de gérer la gestion de routine de l’état», a déclaré Ning. De plus, « étant donné que la consolidation peut s’effectuer de manière asynchrone, il n’est pas toujours nécessaire qu’elle ralentisse la boucle d’exécution principale de l’agent ».

Les équipes doivent également évaluer soigneusement quand un harnais BPE entraînable est nécessaire ou quand il est excessif.

«Pour une tâche courte et stable, ReAct ou RAG standard peuvent déjà suffire», a déclaré Ning. «Le BPE devient bien plus précieux lorsqu’un agent travaille pendant plusieurs heures, jours, voire semaines.» Dans ces scénarios complexes, un agent a besoin d’une compréhension compressée de ses décisions pour éviter de se perdre, en s’appuyant sur l’expérience pour s’améliorer de manière itérative à partir des échecs précédents et des commentaires humains.

En fin de compte, cette approche marque un changement pour les ingénieurs en orchestration de l’IA. «Il ne s’agit pas d’un remplacement complet de l’ingénierie des flux de travail», a déclaré Ning, «mais d’une transition de l’écriture directe du comportement des agents à la création de systèmes dans lesquels un meilleur comportement peut être appris.»