Les compétences des agents sont devenues un élément important des applications d’IA du monde réel, fournissant un mécanisme (un ensemble d’instructions enregistrées dans un dossier de fichiers de démarques textuelles (.md), généralement) permettant aux modèles de s’adapter aux cas d’utilisation spécifiques de l’entreprise et aux flux de travail complexes.
Cependant, l’optimisation de ces compétences est un processus lent et défectueux, car elles ne peuvent pas être formées de la même manière que les paramètres du modèle d’IA sous-jacent. Au lieu de cela, les utilisateurs doivent généralement les mettre à jour manuellement en retapant les instructions dans chaque fichier, en jouant à un « jeu de devinettes » quant aux changements qui pourraient améliorer les performances de l’IA agentique et réduire les erreurs.
SkillOpt, un nouveau framework open source (sous licence MIT) développé par Microsoft, fait mieux : il introduit un optimiseur conçu pour les compétences des agents, transformant le document .md des compétences de l’agent en un objet pouvant être entraîné qui évolue en fonction des commentaires sur les performances.
Il utilise une optimisation de type apprentissage en profondeur pour permettre à l’IA d’explorer systématiquement les modifications apportées au document et de trouver la meilleure combinaison d’instructions. Plus important encore, il réalise cette adaptation procédurale sans apporter de modifications aux pondérations du modèle sous-jacent.
Selon diverses références du secteur, SkillOpt surpasse les références existantes, améliorant considérablement la précision de modèles tels que GPT-5.5 et Qwen. Le résultat est un ensemble d’artefacts de compétences compacts et transférables qui permettent aux agents d’IA de s’adapter sans effort à de nouveaux domaines.
Le défi de l’optimisation des compétences des agents
Les compétences des agents regroupent les connaissances procédurales dans des spécifications en langage naturel, notamment les heuristiques de domaine, les politiques d’utilisation des outils, les contraintes de sortie et les modes de défaillance connus. Ces compétences fournissent une interface externe permettant aux agents de s’adapter aux flux de travail complexes de l’entreprise. En pratique, les compétences des agents sont stockées sous forme de documents texte et insérées dans le contexte de l’agent avant exécution.
L’un des principaux avantages des compétences est qu’elles personnalisent le comportement du modèle sous-jacent sans modifier ses pondérations. Cependant, le document de compétences lui-même doit être peaufiné et optimisé pour obtenir les meilleures performances de l’agent.
Alors que l’apprentissage profond repose sur des contrôles mathématiques stricts pour la stabilité, l’ingénierie humaine repose souvent sur des essais et des erreurs. Lorsque l’on tente de mettre à jour automatiquement un document de compétences en fonction des commentaires, le manque de discipline mathématique rend le texte très volatil.
Yifan Yang, Senior Research SDE chez Microsoft Research Asia, a déclaré à VentureBeat que le problème n’est pas d’apporter des changements, mais de s’assurer que ces changements sont mathématiquement valables.
«Le point de rupture n’est pas de savoir si une équipe peut modifier une compétence, c’est qu’elle ne peut pas garantir que le changement constitue une amélioration», a déclaré Yang. «Trois modes d’échec se reproduisent : pas de contrôle de la taille des pas, donc les compétences dérivent ; pas de validation, donc un correctif qui se lit comme raisonnable est écrit et peut faire régresser silencieusement les performances ; et pas de mémoire négative, donc la même modification échouée continue de revenir.»
Pour illustrer la facilité avec laquelle les performances peuvent chuter lorsque les modifications ne sont pas validées mathématiquement, Yang a noté qu ‘»une réécriture non verrouillée a fait passer GPT-5.5 sur SpreadsheetBench de 41,8 à 41,1″.
Selon Yang, ces modes de défaillance sont amplifiés dans les flux de travail en plusieurs étapes « parce que c’est là que les modèles frontières sont les plus faibles. Pas sur le raisonnement, mais sur la discipline procédurale : format, auto-vérification, politique des outils ».
Avant SkillOpt, les compétences des agents étaient principalement fabriquées à la main, générées en une seule fois ou évoluaient via des pipelines d’auto-révision peu contrôlés qui ne pouvaient pas s’améliorer de manière fiable sous l’effet des commentaires.
Les méthodes d’optimisation d’invite telles que TextGrad et GEPA traitent les artefacts de langage comme des objets optimisables et utilisent le retour de trajectoire pour faire évoluer les invites, mais elles se concentrent sur des configurations à invite unique plutôt que de générer des artefacts de compétences persistants et réutilisables.
Parallèlement, les méthodes d’évolution et de découverte des compétences telles qu’EvoSkill et Trace2Skill convertissent les expériences d’exécution d’agents en leçons de trajectoire pour affiner les dossiers de compétences, créer des bibliothèques spécifiques à un domaine ou effectuer une recherche évolutive.
Aucun d’entre eux n’applique de contrôles de type apprentissage profond, tels que les taux d’apprentissage, les portes de validation et l’élan, qui sont nécessaires à la formation continue d’un document de compétences unique et compact.
Importer une discipline mathématique dans un texte
SkillOpt optimise un document texte via une boucle itérative de proposition et de test qui sépare le modèle exécutant les tâches du modèle optimisant la compétence. Le processus se déroule en plusieurs étapes :
-
SkillOpt commence par un document de compétences initial et un modèle cible gelé (ou harnais), où le modèle cible exécute un lot de tâches pour générer des trajectoires d’exécution qui servent de preuve pour l’étape en cours.
-
Un modèle d’optimisation hors ligne analyse ces trajectoires, séparant les succès des échecs en mini-lots. L’examen d’un mini-lot aide le modèle à identifier les erreurs de procédure systématiques plutôt que les anomalies ponctuelles. Sur la base de ces modèles, l’optimiseur propose des modifications structurelles d’ajout, de suppression ou de remplacement au document de compétences.
-
Les modifications proposées sont examinées pour filtrer les doublons ou les contradictions, et l’optimiseur classe ensuite ces modifications candidates en fonction de leur utilité attendue.
-
Plutôt que d’appliquer toutes les modifications proposées, SkillOpt découpe la liste en fonction d’un budget d’édition maximum pour cette étape, générant ainsi une compétence de candidat.
-
La compétence du candidat est évaluée sur un ensemble de validation retenu à l’aide du modèle cible. Si le candidat améliore la note de validation, celle-ci est acceptée et devient la nouvelle compétence actuelle. En cas d’échec, les modifications sont rejetées et envoyées vers un tampon de modification rejetée, fournissant un retour négatif afin que l’optimiseur sache qu’il ne doit pas répéter cette erreur.
SkillOpt aborde directement le problème du traitement du texte comme un objet pouvant être entraîné en important des concepts mathématiques issus de l’apprentissage profond. Les créateurs notent que « l’analogie du deep learning est opérationnelle plutôt que décorative », aidant le framework à éviter les problèmes d’instabilité associés à d’autres techniques d’optimisation.
Le budget d’édition agit comme un taux d’apprentissage. En limitant le nombre de modifications pouvant être appliquées simultanément, on évite que la version de compétence ne s’éloigne trop de son état précédent, préservant ainsi la continuité tout en permettant l’acquisition de nouvelles procédures.
Tout comme la vérification de la perte de validation dans le deep learning, les exemples stricts retenus garantissent que les modifications de texte apparemment plausibles ne sont conservées que si elles améliorent mathématiquement les performances réelles de l’agent lors de la répartition de validation.
À la fin d’une époque, SkillOpt effectue une mise à jour lente en comparant les tâches des compétences de l’époque précédente et actuelle. Cela agit comme un terme d’élan, faisant avancer les leçons procédurales durables et à long terme tout en les isolant des modifications rapides et par étapes.
SkillOpt en action
Pour évaluer la technique dans la pratique, les chercheurs ont testé SkillOpt sur différents modèles, allant des modèles frontières à grande échelle comme GPT-5.5 aux plus petits modèles fermés et ouverts, notamment GPT-5.4-mini et Qwen3.5-4B. Ils ont également déployé leurs compétences au sein de différents harnais d’exécution, en utilisant le chat simple ainsi que des harnais de codage complexes comme le Codex CLI et Claude Code.
L’évaluation a porté sur diverses références de l’industrie, notamment la réponse à des questions en un seul tour, la génération de code à plusieurs tours impliquant l’utilisation d’outils et le raisonnement multimodal de documents. SkillOpt a été mesuré par rapport à plusieurs références allant d’un paramètre par défaut sans compétence aux compétences écrites par l’homme et aux compétences générées en une seule fois par LLM. Il a également été comparé à des méthodes avancées d’optimisation rapide et d’évolution des compétences, en particulier Trace2Skill, TextGrad, GEPA et EvoSkill.
SkillOpt a dominé dans tous les domaines, se révélant très efficace sur les 52 combinaisons évaluées de modèle, de référence et de harnais. Il s’est avéré particulièrement efficace avec les modèles frontières, offrant une amélioration absolue moyenne de +23,5 points par rapport à la référence sans compétence sur GPT-5.5. De plus, SkillOpt a surpassé une base de référence oracle hypothétique qui sélectionne la meilleure méthode concurrente pour chaque problème.
Les petits modèles cibles ont enregistré d’immenses gains relatifs, prouvant qu’un fichier texte compact peut fournir des connaissances procédurales qui manquent aux petits modèles en termes de poids. Par exemple, GPT-5.4-nano a presque doublé son score en matière d’assurance qualité des documents multimodaux et a triplé son score en matière d’interaction incarnée et de prise de décision séquentielle.
Ces références académiques correspondent aux problèmes critiques de l’entreprise. Les modèles Zero-shot hallucinent souvent lors du formatage ou ne parviennent pas à utiliser correctement les outils dans des scénarios en plusieurs étapes. Yang a expliqué que les gains de performance les plus importants se sont produits dans les opérations que les entreprises ont toujours eu du mal à automatiser de manière fiable.
«Extraction de données documentaires… chiffres exacts à partir de contrats, factures et formulaires – automatisation des comptes fournisseurs, réclamations, conformité», a déclaré Yang. «Ce qui s’améliore, c’est la fiabilité : un formatage précis, une auto-vérification, des résultats vérifiables. Et les gains proviennent de la procédure d’apprentissage, et non de la mémorisation des réponses.»
Pour les professionnels de l’entreprise, la véritable valeur de SkillOpt réside dans sa portabilité, son efficacité et sa compatibilité avec l’infrastructure existante. Les expériences confirment que le cadre est indépendant du harnais. En plus du chat de base, la même boucle d’optimisation a été intégrée avec succès dans des environnements d’exécution basés sur des outils tels que Codex CLI et Claude Code, avec des gains significatifs par rapport aux références du secteur.
Les développeurs peuvent former une compétence à l’aide d’une boucle d’exécution et la déployer dans une autre. Par exemple, une compétence de feuille de calcul entièrement formée dans la boucle Codex a été déplacée directement dans Claude Code et a généré un gain de +59,7 points par rapport à la base de référence native de Claude Code sans aucun autre changement.
Les artefacts SkillOpt sont également transférés proprement à travers les échelles du modèle. Une compétence optimisée pour GPT-5.4 a été déployée sur les plus petits modèles GPT-5.4-mini et GPT-5.4-nano avec des gains positifs, prouvant que les procédures apprises codent des flux de travail réutilisables plutôt que d’exploiter simplement les bizarreries de l’architecture d’un modèle spécifique.
Enfin, le cadre est très efficace en ce qui concerne l’utilisation des jetons et l’immobilier de la fenêtre contextuelle. Dans tous les benchmarks, les compétences finales déployées n’ont jamais dépassé 2 000 tokens, avec une longueur médiane d’environ 920 tokens. Il en résulte des artefacts hautement lisibles et vérifiables qu’un praticien humain peut examiner et gérer en quelques minutes.
Stratégies de mise en œuvre et « piège » de l’entreprise
Pour les responsables technologiques d’entreprise, l’adoption d’un nouveau cadre nécessite d’en comprendre les frais généraux et les limites. Bien que le document de recherche indique que les jetons de formation peuvent atteindre jusqu’à 210 millions pour les références académiques, la réalité des cas d’utilisation quotidienne en entreprise est beaucoup plus légère. Le nombre élevé de jetons lors des tests était en grande partie dû à la réévaluation d’ensembles de tests massifs retenus.
«Le véritable travail initial est le vérificateur et une division représentative. L’optimiseur est léger; le faisceau d’évaluation est l’endroit où va l’ingénierie», a déclaré Yang. Il a ajouté que pour une utilisation quotidienne, «dans des cadres communautaires comme GBrain, où les mises à jour SkillOpt s’exécutent sur Claude Sonnet, la formation d’une compétence pour une seule tâche ne coûte en moyenne que 1 à 5 dollars». Ce coût d’optimisation est un frais unique qui est entièrement amorti lors du déploiement.
Cependant, le cadre nécessite des conditions spécifiques pour fonctionner efficacement, à savoir quelques dizaines d’exemples représentatifs et un signal de retour notable. Les équipes doivent éviter d’appliquer SkillOpt à des tâches ouvertes ou subjectives. «En l’absence d’un évaluateur automatique propre, vous devez concevoir un évaluateur basé sur un humain ou un modèle et surveiller sa stabilité», a déclaré Yang.
SkillOpt s’intègre également facilement aux piles d’orchestration existantes, supprimant ainsi un obstacle majeur à l’adoption. Par exemple, les développeurs utilisant déjà des compilateurs de pipeline peuvent exécuter les deux systèmes de manière harmonieuse. «DSpy est une couche différente et complémentaire», a déclaré Yang. «Il compile les pipelines LM déclaratifs et optimise la structure du programme ; SkillOpt optimise l’état des compétences externes qu’un agent gelé charge. Vous pouvez les exécuter ensemble.»
Pour l’avenir, les développeurs open source planifient déjà SkillOpt pour qu’il s’exécute périodiquement sur les trajectoires passées de leurs agents, créant ainsi un petit écosystème de plugins d’agent de code auto-optimisés. Cette boucle de rétroaction continue représente un changement important dans la façon dont les systèmes d’IA s’adaptent.
« La version précieuse de l’auto-amélioration est qu’un agent découvre de manière autonome des connaissances pour améliorer son propre comportement et l’expérience utilisateur, sous vérification et audit », a déclaré Yang. «Les compétences constituent la première étape la plus rapide, la moins chère et la plus réversible, et le même état d’esprit incite les agents à s’optimiser eux-mêmes, jusqu’à atteindre leur propre poids.»
Les compétences des agents sont devenues un élément important des applications d’IA du monde réel, fournissant un mécanisme (un ensemble d’instructions enregistrées dans un dossier de fichiers de démarques textuelles (.md), généralement) permettant aux modèles de s’adapter aux cas d’utilisation spécifiques de l’entreprise et aux flux de travail complexes.
Cependant, l’optimisation de ces compétences est un processus lent et défectueux, car elles ne peuvent pas être formées de la même manière que les paramètres du modèle d’IA sous-jacent. Au lieu de cela, les utilisateurs doivent généralement les mettre à jour manuellement en retapant les instructions dans chaque fichier, en jouant à un « jeu de devinettes » quant aux changements qui pourraient améliorer les performances de l’IA agentique et réduire les erreurs.
SkillOpt, un nouveau framework open source (sous licence MIT) développé par Microsoft, fait mieux : il introduit un optimiseur conçu pour les compétences des agents, transformant le document .md des compétences de l’agent en un objet pouvant être entraîné qui évolue en fonction des commentaires sur les performances.
Il utilise une optimisation de type apprentissage en profondeur pour permettre à l’IA d’explorer systématiquement les modifications apportées au document et de trouver la meilleure combinaison d’instructions. Plus important encore, il réalise cette adaptation procédurale sans apporter de modifications aux pondérations du modèle sous-jacent.
Selon diverses références du secteur, SkillOpt surpasse les références existantes, améliorant considérablement la précision de modèles tels que GPT-5.5 et Qwen. Le résultat est un ensemble d’artefacts de compétences compacts et transférables qui permettent aux agents d’IA de s’adapter sans effort à de nouveaux domaines.
Le défi de l’optimisation des compétences des agents
Les compétences des agents regroupent les connaissances procédurales dans des spécifications en langage naturel, notamment les heuristiques de domaine, les politiques d’utilisation des outils, les contraintes de sortie et les modes de défaillance connus. Ces compétences fournissent une interface externe permettant aux agents de s’adapter aux flux de travail complexes de l’entreprise. En pratique, les compétences des agents sont stockées sous forme de documents texte et insérées dans le contexte de l’agent avant exécution.
L’un des principaux avantages des compétences est qu’elles personnalisent le comportement du modèle sous-jacent sans modifier ses pondérations. Cependant, le document de compétences lui-même doit être peaufiné et optimisé pour obtenir les meilleures performances de l’agent.
Alors que l’apprentissage profond repose sur des contrôles mathématiques stricts pour la stabilité, l’ingénierie humaine repose souvent sur des essais et des erreurs. Lorsque l’on tente de mettre à jour automatiquement un document de compétences en fonction des commentaires, le manque de discipline mathématique rend le texte très volatil.
Yifan Yang, Senior Research SDE chez Microsoft Research Asia, a déclaré à VentureBeat que le problème n’est pas d’apporter des changements, mais de s’assurer que ces changements sont mathématiquement valables.
«Le point de rupture n’est pas de savoir si une équipe peut modifier une compétence, c’est qu’elle ne peut pas garantir que le changement constitue une amélioration», a déclaré Yang. «Trois modes d’échec se reproduisent : pas de contrôle de la taille des pas, donc les compétences dérivent ; pas de validation, donc un correctif qui se lit comme raisonnable est écrit et peut faire régresser silencieusement les performances ; et pas de mémoire négative, donc la même modification échouée continue de revenir.»
Pour illustrer la facilité avec laquelle les performances peuvent chuter lorsque les modifications ne sont pas validées mathématiquement, Yang a noté qu ‘»une réécriture non verrouillée a fait passer GPT-5.5 sur SpreadsheetBench de 41,8 à 41,1″.
Selon Yang, ces modes de défaillance sont amplifiés dans les flux de travail en plusieurs étapes « parce que c’est là que les modèles frontières sont les plus faibles. Pas sur le raisonnement, mais sur la discipline procédurale : format, auto-vérification, politique des outils ».
Avant SkillOpt, les compétences des agents étaient principalement fabriquées à la main, générées en une seule fois ou évoluaient via des pipelines d’auto-révision peu contrôlés qui ne pouvaient pas s’améliorer de manière fiable sous l’effet des commentaires.
Les méthodes d’optimisation d’invite telles que TextGrad et GEPA traitent les artefacts de langage comme des objets optimisables et utilisent le retour de trajectoire pour faire évoluer les invites, mais elles se concentrent sur des configurations à invite unique plutôt que de générer des artefacts de compétences persistants et réutilisables.
Parallèlement, les méthodes d’évolution et de découverte des compétences telles qu’EvoSkill et Trace2Skill convertissent les expériences d’exécution d’agents en leçons de trajectoire pour affiner les dossiers de compétences, créer des bibliothèques spécifiques à un domaine ou effectuer une recherche évolutive.
Aucun d’entre eux n’applique de contrôles de type apprentissage profond, tels que les taux d’apprentissage, les portes de validation et l’élan, qui sont nécessaires à la formation continue d’un document de compétences unique et compact.
Importer une discipline mathématique dans un texte
SkillOpt optimise un document texte via une boucle itérative de proposition et de test qui sépare le modèle exécutant les tâches du modèle optimisant la compétence. Le processus se déroule en plusieurs étapes :
-
SkillOpt commence par un document de compétences initial et un modèle cible gelé (ou harnais), où le modèle cible exécute un lot de tâches pour générer des trajectoires d’exécution qui servent de preuve pour l’étape en cours.
-
Un modèle d’optimisation hors ligne analyse ces trajectoires, séparant les succès des échecs en mini-lots. L’examen d’un mini-lot aide le modèle à identifier les erreurs de procédure systématiques plutôt que les anomalies ponctuelles. Sur la base de ces modèles, l’optimiseur propose des modifications structurelles d’ajout, de suppression ou de remplacement au document de compétences.
-
Les modifications proposées sont examinées pour filtrer les doublons ou les contradictions, et l’optimiseur classe ensuite ces modifications candidates en fonction de leur utilité attendue.
-
Plutôt que d’appliquer toutes les modifications proposées, SkillOpt découpe la liste en fonction d’un budget d’édition maximum pour cette étape, générant ainsi une compétence de candidat.
-
La compétence du candidat est évaluée sur un ensemble de validation retenu à l’aide du modèle cible. Si le candidat améliore la note de validation, celle-ci est acceptée et devient la nouvelle compétence actuelle. En cas d’échec, les modifications sont rejetées et envoyées vers un tampon de modification rejetée, fournissant un retour négatif afin que l’optimiseur sache qu’il ne doit pas répéter cette erreur.
SkillOpt aborde directement le problème du traitement du texte comme un objet pouvant être entraîné en important des concepts mathématiques issus de l’apprentissage profond. Les créateurs notent que « l’analogie du deep learning est opérationnelle plutôt que décorative », aidant le framework à éviter les problèmes d’instabilité associés à d’autres techniques d’optimisation.
Le budget d’édition agit comme un taux d’apprentissage. En limitant le nombre de modifications pouvant être appliquées simultanément, on évite que la version de compétence ne s’éloigne trop de son état précédent, préservant ainsi la continuité tout en permettant l’acquisition de nouvelles procédures.
Tout comme la vérification de la perte de validation dans le deep learning, les exemples stricts retenus garantissent que les modifications de texte apparemment plausibles ne sont conservées que si elles améliorent mathématiquement les performances réelles de l’agent lors de la répartition de validation.
À la fin d’une époque, SkillOpt effectue une mise à jour lente en comparant les tâches des compétences de l’époque précédente et actuelle. Cela agit comme un terme d’élan, faisant avancer les leçons procédurales durables et à long terme tout en les isolant des modifications rapides et par étapes.
SkillOpt en action
Pour évaluer la technique dans la pratique, les chercheurs ont testé SkillOpt sur différents modèles, allant des modèles frontières à grande échelle comme GPT-5.5 aux plus petits modèles fermés et ouverts, notamment GPT-5.4-mini et Qwen3.5-4B. Ils ont également déployé leurs compétences au sein de différents harnais d’exécution, en utilisant le chat simple ainsi que des harnais de codage complexes comme le Codex CLI et Claude Code.
L’évaluation a porté sur diverses références de l’industrie, notamment la réponse à des questions en un seul tour, la génération de code à plusieurs tours impliquant l’utilisation d’outils et le raisonnement multimodal de documents. SkillOpt a été mesuré par rapport à plusieurs références allant d’un paramètre par défaut sans compétence aux compétences écrites par l’homme et aux compétences générées en une seule fois par LLM. Il a également été comparé à des méthodes avancées d’optimisation rapide et d’évolution des compétences, en particulier Trace2Skill, TextGrad, GEPA et EvoSkill.
SkillOpt a dominé dans tous les domaines, se révélant très efficace sur les 52 combinaisons évaluées de modèle, de référence et de harnais. Il s’est avéré particulièrement efficace avec les modèles frontières, offrant une amélioration absolue moyenne de +23,5 points par rapport à la référence sans compétence sur GPT-5.5. De plus, SkillOpt a surpassé une base de référence oracle hypothétique qui sélectionne la meilleure méthode concurrente pour chaque problème.
Les petits modèles cibles ont enregistré d’immenses gains relatifs, prouvant qu’un fichier texte compact peut fournir des connaissances procédurales qui manquent aux petits modèles en termes de poids. Par exemple, GPT-5.4-nano a presque doublé son score en matière d’assurance qualité des documents multimodaux et a triplé son score en matière d’interaction incarnée et de prise de décision séquentielle.
Ces références académiques correspondent aux problèmes critiques de l’entreprise. Les modèles Zero-shot hallucinent souvent lors du formatage ou ne parviennent pas à utiliser correctement les outils dans des scénarios en plusieurs étapes. Yang a expliqué que les gains de performance les plus importants se sont produits dans les opérations que les entreprises ont toujours eu du mal à automatiser de manière fiable.
«Extraction de données documentaires… chiffres exacts à partir de contrats, factures et formulaires – automatisation des comptes fournisseurs, réclamations, conformité», a déclaré Yang. «Ce qui s’améliore, c’est la fiabilité : un formatage précis, une auto-vérification, des résultats vérifiables. Et les gains proviennent de la procédure d’apprentissage, et non de la mémorisation des réponses.»
Pour les professionnels de l’entreprise, la véritable valeur de SkillOpt réside dans sa portabilité, son efficacité et sa compatibilité avec l’infrastructure existante. Les expériences confirment que le cadre est indépendant du harnais. En plus du chat de base, la même boucle d’optimisation a été intégrée avec succès dans des environnements d’exécution basés sur des outils tels que Codex CLI et Claude Code, avec des gains significatifs par rapport aux références du secteur.
Les développeurs peuvent former une compétence à l’aide d’une boucle d’exécution et la déployer dans une autre. Par exemple, une compétence de feuille de calcul entièrement formée dans la boucle Codex a été déplacée directement dans Claude Code et a généré un gain de +59,7 points par rapport à la base de référence native de Claude Code sans aucun autre changement.
Les artefacts SkillOpt sont également transférés proprement à travers les échelles du modèle. Une compétence optimisée pour GPT-5.4 a été déployée sur les plus petits modèles GPT-5.4-mini et GPT-5.4-nano avec des gains positifs, prouvant que les procédures apprises codent des flux de travail réutilisables plutôt que d’exploiter simplement les bizarreries de l’architecture d’un modèle spécifique.
Enfin, le cadre est très efficace en ce qui concerne l’utilisation des jetons et l’immobilier de la fenêtre contextuelle. Dans tous les benchmarks, les compétences finales déployées n’ont jamais dépassé 2 000 tokens, avec une longueur médiane d’environ 920 tokens. Il en résulte des artefacts hautement lisibles et vérifiables qu’un praticien humain peut examiner et gérer en quelques minutes.
Stratégies de mise en œuvre et « piège » de l’entreprise
Pour les responsables technologiques d’entreprise, l’adoption d’un nouveau cadre nécessite d’en comprendre les frais généraux et les limites. Bien que le document de recherche indique que les jetons de formation peuvent atteindre jusqu’à 210 millions pour les références académiques, la réalité des cas d’utilisation quotidienne en entreprise est beaucoup plus légère. Le nombre élevé de jetons lors des tests était en grande partie dû à la réévaluation d’ensembles de tests massifs retenus.
«Le véritable travail initial est le vérificateur et une division représentative. L’optimiseur est léger; le faisceau d’évaluation est l’endroit où va l’ingénierie», a déclaré Yang. Il a ajouté que pour une utilisation quotidienne, «dans des cadres communautaires comme GBrain, où les mises à jour SkillOpt s’exécutent sur Claude Sonnet, la formation d’une compétence pour une seule tâche ne coûte en moyenne que 1 à 5 dollars». Ce coût d’optimisation est un frais unique qui est entièrement amorti lors du déploiement.
Cependant, le cadre nécessite des conditions spécifiques pour fonctionner efficacement, à savoir quelques dizaines d’exemples représentatifs et un signal de retour notable. Les équipes doivent éviter d’appliquer SkillOpt à des tâches ouvertes ou subjectives. «En l’absence d’un évaluateur automatique propre, vous devez concevoir un évaluateur basé sur un humain ou un modèle et surveiller sa stabilité», a déclaré Yang.
SkillOpt s’intègre également facilement aux piles d’orchestration existantes, supprimant ainsi un obstacle majeur à l’adoption. Par exemple, les développeurs utilisant déjà des compilateurs de pipeline peuvent exécuter les deux systèmes de manière harmonieuse. «DSpy est une couche différente et complémentaire», a déclaré Yang. «Il compile les pipelines LM déclaratifs et optimise la structure du programme ; SkillOpt optimise l’état des compétences externes qu’un agent gelé charge. Vous pouvez les exécuter ensemble.»
Pour l’avenir, les développeurs open source planifient déjà SkillOpt pour qu’il s’exécute périodiquement sur les trajectoires passées de leurs agents, créant ainsi un petit écosystème de plugins d’agent de code auto-optimisés. Cette boucle de rétroaction continue représente un changement important dans la façon dont les systèmes d’IA s’adaptent.
« La version précieuse de l’auto-amélioration est qu’un agent découvre de manière autonome des connaissances pour améliorer son propre comportement et l’expérience utilisateur, sous vérification et audit », a déclaré Yang. «Les compétences constituent la première étape la plus rapide, la moins chère et la plus réversible, et le même état d’esprit incite les agents à s’optimiser eux-mêmes, jusqu’à atteindre leur propre poids.»
Les compétences des agents sont devenues un élément important des applications d’IA du monde réel, fournissant un mécanisme (un ensemble d’instructions enregistrées dans un dossier de fichiers de démarques textuelles (.md), généralement) permettant aux modèles de s’adapter aux cas d’utilisation spécifiques de l’entreprise et aux flux de travail complexes.
Cependant, l’optimisation de ces compétences est un processus lent et défectueux, car elles ne peuvent pas être formées de la même manière que les paramètres du modèle d’IA sous-jacent. Au lieu de cela, les utilisateurs doivent généralement les mettre à jour manuellement en retapant les instructions dans chaque fichier, en jouant à un « jeu de devinettes » quant aux changements qui pourraient améliorer les performances de l’IA agentique et réduire les erreurs.
SkillOpt, un nouveau framework open source (sous licence MIT) développé par Microsoft, fait mieux : il introduit un optimiseur conçu pour les compétences des agents, transformant le document .md des compétences de l’agent en un objet pouvant être entraîné qui évolue en fonction des commentaires sur les performances.
Il utilise une optimisation de type apprentissage en profondeur pour permettre à l’IA d’explorer systématiquement les modifications apportées au document et de trouver la meilleure combinaison d’instructions. Plus important encore, il réalise cette adaptation procédurale sans apporter de modifications aux pondérations du modèle sous-jacent.
Selon diverses références du secteur, SkillOpt surpasse les références existantes, améliorant considérablement la précision de modèles tels que GPT-5.5 et Qwen. Le résultat est un ensemble d’artefacts de compétences compacts et transférables qui permettent aux agents d’IA de s’adapter sans effort à de nouveaux domaines.
Le défi de l’optimisation des compétences des agents
Les compétences des agents regroupent les connaissances procédurales dans des spécifications en langage naturel, notamment les heuristiques de domaine, les politiques d’utilisation des outils, les contraintes de sortie et les modes de défaillance connus. Ces compétences fournissent une interface externe permettant aux agents de s’adapter aux flux de travail complexes de l’entreprise. En pratique, les compétences des agents sont stockées sous forme de documents texte et insérées dans le contexte de l’agent avant exécution.
L’un des principaux avantages des compétences est qu’elles personnalisent le comportement du modèle sous-jacent sans modifier ses pondérations. Cependant, le document de compétences lui-même doit être peaufiné et optimisé pour obtenir les meilleures performances de l’agent.
Alors que l’apprentissage profond repose sur des contrôles mathématiques stricts pour la stabilité, l’ingénierie humaine repose souvent sur des essais et des erreurs. Lorsque l’on tente de mettre à jour automatiquement un document de compétences en fonction des commentaires, le manque de discipline mathématique rend le texte très volatil.
Yifan Yang, Senior Research SDE chez Microsoft Research Asia, a déclaré à VentureBeat que le problème n’est pas d’apporter des changements, mais de s’assurer que ces changements sont mathématiquement valables.
«Le point de rupture n’est pas de savoir si une équipe peut modifier une compétence, c’est qu’elle ne peut pas garantir que le changement constitue une amélioration», a déclaré Yang. «Trois modes d’échec se reproduisent : pas de contrôle de la taille des pas, donc les compétences dérivent ; pas de validation, donc un correctif qui se lit comme raisonnable est écrit et peut faire régresser silencieusement les performances ; et pas de mémoire négative, donc la même modification échouée continue de revenir.»
Pour illustrer la facilité avec laquelle les performances peuvent chuter lorsque les modifications ne sont pas validées mathématiquement, Yang a noté qu ‘»une réécriture non verrouillée a fait passer GPT-5.5 sur SpreadsheetBench de 41,8 à 41,1″.
Selon Yang, ces modes de défaillance sont amplifiés dans les flux de travail en plusieurs étapes « parce que c’est là que les modèles frontières sont les plus faibles. Pas sur le raisonnement, mais sur la discipline procédurale : format, auto-vérification, politique des outils ».
Avant SkillOpt, les compétences des agents étaient principalement fabriquées à la main, générées en une seule fois ou évoluaient via des pipelines d’auto-révision peu contrôlés qui ne pouvaient pas s’améliorer de manière fiable sous l’effet des commentaires.
Les méthodes d’optimisation d’invite telles que TextGrad et GEPA traitent les artefacts de langage comme des objets optimisables et utilisent le retour de trajectoire pour faire évoluer les invites, mais elles se concentrent sur des configurations à invite unique plutôt que de générer des artefacts de compétences persistants et réutilisables.
Parallèlement, les méthodes d’évolution et de découverte des compétences telles qu’EvoSkill et Trace2Skill convertissent les expériences d’exécution d’agents en leçons de trajectoire pour affiner les dossiers de compétences, créer des bibliothèques spécifiques à un domaine ou effectuer une recherche évolutive.
Aucun d’entre eux n’applique de contrôles de type apprentissage profond, tels que les taux d’apprentissage, les portes de validation et l’élan, qui sont nécessaires à la formation continue d’un document de compétences unique et compact.
Importer une discipline mathématique dans un texte
SkillOpt optimise un document texte via une boucle itérative de proposition et de test qui sépare le modèle exécutant les tâches du modèle optimisant la compétence. Le processus se déroule en plusieurs étapes :
-
SkillOpt commence par un document de compétences initial et un modèle cible gelé (ou harnais), où le modèle cible exécute un lot de tâches pour générer des trajectoires d’exécution qui servent de preuve pour l’étape en cours.
-
Un modèle d’optimisation hors ligne analyse ces trajectoires, séparant les succès des échecs en mini-lots. L’examen d’un mini-lot aide le modèle à identifier les erreurs de procédure systématiques plutôt que les anomalies ponctuelles. Sur la base de ces modèles, l’optimiseur propose des modifications structurelles d’ajout, de suppression ou de remplacement au document de compétences.
-
Les modifications proposées sont examinées pour filtrer les doublons ou les contradictions, et l’optimiseur classe ensuite ces modifications candidates en fonction de leur utilité attendue.
-
Plutôt que d’appliquer toutes les modifications proposées, SkillOpt découpe la liste en fonction d’un budget d’édition maximum pour cette étape, générant ainsi une compétence de candidat.
-
La compétence du candidat est évaluée sur un ensemble de validation retenu à l’aide du modèle cible. Si le candidat améliore la note de validation, celle-ci est acceptée et devient la nouvelle compétence actuelle. En cas d’échec, les modifications sont rejetées et envoyées vers un tampon de modification rejetée, fournissant un retour négatif afin que l’optimiseur sache qu’il ne doit pas répéter cette erreur.
SkillOpt aborde directement le problème du traitement du texte comme un objet pouvant être entraîné en important des concepts mathématiques issus de l’apprentissage profond. Les créateurs notent que « l’analogie du deep learning est opérationnelle plutôt que décorative », aidant le framework à éviter les problèmes d’instabilité associés à d’autres techniques d’optimisation.
Le budget d’édition agit comme un taux d’apprentissage. En limitant le nombre de modifications pouvant être appliquées simultanément, on évite que la version de compétence ne s’éloigne trop de son état précédent, préservant ainsi la continuité tout en permettant l’acquisition de nouvelles procédures.
Tout comme la vérification de la perte de validation dans le deep learning, les exemples stricts retenus garantissent que les modifications de texte apparemment plausibles ne sont conservées que si elles améliorent mathématiquement les performances réelles de l’agent lors de la répartition de validation.
À la fin d’une époque, SkillOpt effectue une mise à jour lente en comparant les tâches des compétences de l’époque précédente et actuelle. Cela agit comme un terme d’élan, faisant avancer les leçons procédurales durables et à long terme tout en les isolant des modifications rapides et par étapes.
SkillOpt en action
Pour évaluer la technique dans la pratique, les chercheurs ont testé SkillOpt sur différents modèles, allant des modèles frontières à grande échelle comme GPT-5.5 aux plus petits modèles fermés et ouverts, notamment GPT-5.4-mini et Qwen3.5-4B. Ils ont également déployé leurs compétences au sein de différents harnais d’exécution, en utilisant le chat simple ainsi que des harnais de codage complexes comme le Codex CLI et Claude Code.
L’évaluation a porté sur diverses références de l’industrie, notamment la réponse à des questions en un seul tour, la génération de code à plusieurs tours impliquant l’utilisation d’outils et le raisonnement multimodal de documents. SkillOpt a été mesuré par rapport à plusieurs références allant d’un paramètre par défaut sans compétence aux compétences écrites par l’homme et aux compétences générées en une seule fois par LLM. Il a également été comparé à des méthodes avancées d’optimisation rapide et d’évolution des compétences, en particulier Trace2Skill, TextGrad, GEPA et EvoSkill.
SkillOpt a dominé dans tous les domaines, se révélant très efficace sur les 52 combinaisons évaluées de modèle, de référence et de harnais. Il s’est avéré particulièrement efficace avec les modèles frontières, offrant une amélioration absolue moyenne de +23,5 points par rapport à la référence sans compétence sur GPT-5.5. De plus, SkillOpt a surpassé une base de référence oracle hypothétique qui sélectionne la meilleure méthode concurrente pour chaque problème.
Les petits modèles cibles ont enregistré d’immenses gains relatifs, prouvant qu’un fichier texte compact peut fournir des connaissances procédurales qui manquent aux petits modèles en termes de poids. Par exemple, GPT-5.4-nano a presque doublé son score en matière d’assurance qualité des documents multimodaux et a triplé son score en matière d’interaction incarnée et de prise de décision séquentielle.
Ces références académiques correspondent aux problèmes critiques de l’entreprise. Les modèles Zero-shot hallucinent souvent lors du formatage ou ne parviennent pas à utiliser correctement les outils dans des scénarios en plusieurs étapes. Yang a expliqué que les gains de performance les plus importants se sont produits dans les opérations que les entreprises ont toujours eu du mal à automatiser de manière fiable.
«Extraction de données documentaires… chiffres exacts à partir de contrats, factures et formulaires – automatisation des comptes fournisseurs, réclamations, conformité», a déclaré Yang. «Ce qui s’améliore, c’est la fiabilité : un formatage précis, une auto-vérification, des résultats vérifiables. Et les gains proviennent de la procédure d’apprentissage, et non de la mémorisation des réponses.»
Pour les professionnels de l’entreprise, la véritable valeur de SkillOpt réside dans sa portabilité, son efficacité et sa compatibilité avec l’infrastructure existante. Les expériences confirment que le cadre est indépendant du harnais. En plus du chat de base, la même boucle d’optimisation a été intégrée avec succès dans des environnements d’exécution basés sur des outils tels que Codex CLI et Claude Code, avec des gains significatifs par rapport aux références du secteur.
Les développeurs peuvent former une compétence à l’aide d’une boucle d’exécution et la déployer dans une autre. Par exemple, une compétence de feuille de calcul entièrement formée dans la boucle Codex a été déplacée directement dans Claude Code et a généré un gain de +59,7 points par rapport à la base de référence native de Claude Code sans aucun autre changement.
Les artefacts SkillOpt sont également transférés proprement à travers les échelles du modèle. Une compétence optimisée pour GPT-5.4 a été déployée sur les plus petits modèles GPT-5.4-mini et GPT-5.4-nano avec des gains positifs, prouvant que les procédures apprises codent des flux de travail réutilisables plutôt que d’exploiter simplement les bizarreries de l’architecture d’un modèle spécifique.
Enfin, le cadre est très efficace en ce qui concerne l’utilisation des jetons et l’immobilier de la fenêtre contextuelle. Dans tous les benchmarks, les compétences finales déployées n’ont jamais dépassé 2 000 tokens, avec une longueur médiane d’environ 920 tokens. Il en résulte des artefacts hautement lisibles et vérifiables qu’un praticien humain peut examiner et gérer en quelques minutes.
Stratégies de mise en œuvre et « piège » de l’entreprise
Pour les responsables technologiques d’entreprise, l’adoption d’un nouveau cadre nécessite d’en comprendre les frais généraux et les limites. Bien que le document de recherche indique que les jetons de formation peuvent atteindre jusqu’à 210 millions pour les références académiques, la réalité des cas d’utilisation quotidienne en entreprise est beaucoup plus légère. Le nombre élevé de jetons lors des tests était en grande partie dû à la réévaluation d’ensembles de tests massifs retenus.
«Le véritable travail initial est le vérificateur et une division représentative. L’optimiseur est léger; le faisceau d’évaluation est l’endroit où va l’ingénierie», a déclaré Yang. Il a ajouté que pour une utilisation quotidienne, «dans des cadres communautaires comme GBrain, où les mises à jour SkillOpt s’exécutent sur Claude Sonnet, la formation d’une compétence pour une seule tâche ne coûte en moyenne que 1 à 5 dollars». Ce coût d’optimisation est un frais unique qui est entièrement amorti lors du déploiement.
Cependant, le cadre nécessite des conditions spécifiques pour fonctionner efficacement, à savoir quelques dizaines d’exemples représentatifs et un signal de retour notable. Les équipes doivent éviter d’appliquer SkillOpt à des tâches ouvertes ou subjectives. «En l’absence d’un évaluateur automatique propre, vous devez concevoir un évaluateur basé sur un humain ou un modèle et surveiller sa stabilité», a déclaré Yang.
SkillOpt s’intègre également facilement aux piles d’orchestration existantes, supprimant ainsi un obstacle majeur à l’adoption. Par exemple, les développeurs utilisant déjà des compilateurs de pipeline peuvent exécuter les deux systèmes de manière harmonieuse. «DSpy est une couche différente et complémentaire», a déclaré Yang. «Il compile les pipelines LM déclaratifs et optimise la structure du programme ; SkillOpt optimise l’état des compétences externes qu’un agent gelé charge. Vous pouvez les exécuter ensemble.»
Pour l’avenir, les développeurs open source planifient déjà SkillOpt pour qu’il s’exécute périodiquement sur les trajectoires passées de leurs agents, créant ainsi un petit écosystème de plugins d’agent de code auto-optimisés. Cette boucle de rétroaction continue représente un changement important dans la façon dont les systèmes d’IA s’adaptent.
« La version précieuse de l’auto-amélioration est qu’un agent découvre de manière autonome des connaissances pour améliorer son propre comportement et l’expérience utilisateur, sous vérification et audit », a déclaré Yang. «Les compétences constituent la première étape la plus rapide, la moins chère et la plus réversible, et le même état d’esprit incite les agents à s’optimiser eux-mêmes, jusqu’à atteindre leur propre poids.»
Les compétences des agents sont devenues un élément important des applications d’IA du monde réel, fournissant un mécanisme (un ensemble d’instructions enregistrées dans un dossier de fichiers de démarques textuelles (.md), généralement) permettant aux modèles de s’adapter aux cas d’utilisation spécifiques de l’entreprise et aux flux de travail complexes.
Cependant, l’optimisation de ces compétences est un processus lent et défectueux, car elles ne peuvent pas être formées de la même manière que les paramètres du modèle d’IA sous-jacent. Au lieu de cela, les utilisateurs doivent généralement les mettre à jour manuellement en retapant les instructions dans chaque fichier, en jouant à un « jeu de devinettes » quant aux changements qui pourraient améliorer les performances de l’IA agentique et réduire les erreurs.
SkillOpt, un nouveau framework open source (sous licence MIT) développé par Microsoft, fait mieux : il introduit un optimiseur conçu pour les compétences des agents, transformant le document .md des compétences de l’agent en un objet pouvant être entraîné qui évolue en fonction des commentaires sur les performances.
Il utilise une optimisation de type apprentissage en profondeur pour permettre à l’IA d’explorer systématiquement les modifications apportées au document et de trouver la meilleure combinaison d’instructions. Plus important encore, il réalise cette adaptation procédurale sans apporter de modifications aux pondérations du modèle sous-jacent.
Selon diverses références du secteur, SkillOpt surpasse les références existantes, améliorant considérablement la précision de modèles tels que GPT-5.5 et Qwen. Le résultat est un ensemble d’artefacts de compétences compacts et transférables qui permettent aux agents d’IA de s’adapter sans effort à de nouveaux domaines.
Le défi de l’optimisation des compétences des agents
Les compétences des agents regroupent les connaissances procédurales dans des spécifications en langage naturel, notamment les heuristiques de domaine, les politiques d’utilisation des outils, les contraintes de sortie et les modes de défaillance connus. Ces compétences fournissent une interface externe permettant aux agents de s’adapter aux flux de travail complexes de l’entreprise. En pratique, les compétences des agents sont stockées sous forme de documents texte et insérées dans le contexte de l’agent avant exécution.
L’un des principaux avantages des compétences est qu’elles personnalisent le comportement du modèle sous-jacent sans modifier ses pondérations. Cependant, le document de compétences lui-même doit être peaufiné et optimisé pour obtenir les meilleures performances de l’agent.
Alors que l’apprentissage profond repose sur des contrôles mathématiques stricts pour la stabilité, l’ingénierie humaine repose souvent sur des essais et des erreurs. Lorsque l’on tente de mettre à jour automatiquement un document de compétences en fonction des commentaires, le manque de discipline mathématique rend le texte très volatil.
Yifan Yang, Senior Research SDE chez Microsoft Research Asia, a déclaré à VentureBeat que le problème n’est pas d’apporter des changements, mais de s’assurer que ces changements sont mathématiquement valables.
«Le point de rupture n’est pas de savoir si une équipe peut modifier une compétence, c’est qu’elle ne peut pas garantir que le changement constitue une amélioration», a déclaré Yang. «Trois modes d’échec se reproduisent : pas de contrôle de la taille des pas, donc les compétences dérivent ; pas de validation, donc un correctif qui se lit comme raisonnable est écrit et peut faire régresser silencieusement les performances ; et pas de mémoire négative, donc la même modification échouée continue de revenir.»
Pour illustrer la facilité avec laquelle les performances peuvent chuter lorsque les modifications ne sont pas validées mathématiquement, Yang a noté qu ‘»une réécriture non verrouillée a fait passer GPT-5.5 sur SpreadsheetBench de 41,8 à 41,1″.
Selon Yang, ces modes de défaillance sont amplifiés dans les flux de travail en plusieurs étapes « parce que c’est là que les modèles frontières sont les plus faibles. Pas sur le raisonnement, mais sur la discipline procédurale : format, auto-vérification, politique des outils ».
Avant SkillOpt, les compétences des agents étaient principalement fabriquées à la main, générées en une seule fois ou évoluaient via des pipelines d’auto-révision peu contrôlés qui ne pouvaient pas s’améliorer de manière fiable sous l’effet des commentaires.
Les méthodes d’optimisation d’invite telles que TextGrad et GEPA traitent les artefacts de langage comme des objets optimisables et utilisent le retour de trajectoire pour faire évoluer les invites, mais elles se concentrent sur des configurations à invite unique plutôt que de générer des artefacts de compétences persistants et réutilisables.
Parallèlement, les méthodes d’évolution et de découverte des compétences telles qu’EvoSkill et Trace2Skill convertissent les expériences d’exécution d’agents en leçons de trajectoire pour affiner les dossiers de compétences, créer des bibliothèques spécifiques à un domaine ou effectuer une recherche évolutive.
Aucun d’entre eux n’applique de contrôles de type apprentissage profond, tels que les taux d’apprentissage, les portes de validation et l’élan, qui sont nécessaires à la formation continue d’un document de compétences unique et compact.
Importer une discipline mathématique dans un texte
SkillOpt optimise un document texte via une boucle itérative de proposition et de test qui sépare le modèle exécutant les tâches du modèle optimisant la compétence. Le processus se déroule en plusieurs étapes :
-
SkillOpt commence par un document de compétences initial et un modèle cible gelé (ou harnais), où le modèle cible exécute un lot de tâches pour générer des trajectoires d’exécution qui servent de preuve pour l’étape en cours.
-
Un modèle d’optimisation hors ligne analyse ces trajectoires, séparant les succès des échecs en mini-lots. L’examen d’un mini-lot aide le modèle à identifier les erreurs de procédure systématiques plutôt que les anomalies ponctuelles. Sur la base de ces modèles, l’optimiseur propose des modifications structurelles d’ajout, de suppression ou de remplacement au document de compétences.
-
Les modifications proposées sont examinées pour filtrer les doublons ou les contradictions, et l’optimiseur classe ensuite ces modifications candidates en fonction de leur utilité attendue.
-
Plutôt que d’appliquer toutes les modifications proposées, SkillOpt découpe la liste en fonction d’un budget d’édition maximum pour cette étape, générant ainsi une compétence de candidat.
-
La compétence du candidat est évaluée sur un ensemble de validation retenu à l’aide du modèle cible. Si le candidat améliore la note de validation, celle-ci est acceptée et devient la nouvelle compétence actuelle. En cas d’échec, les modifications sont rejetées et envoyées vers un tampon de modification rejetée, fournissant un retour négatif afin que l’optimiseur sache qu’il ne doit pas répéter cette erreur.
SkillOpt aborde directement le problème du traitement du texte comme un objet pouvant être entraîné en important des concepts mathématiques issus de l’apprentissage profond. Les créateurs notent que « l’analogie du deep learning est opérationnelle plutôt que décorative », aidant le framework à éviter les problèmes d’instabilité associés à d’autres techniques d’optimisation.
Le budget d’édition agit comme un taux d’apprentissage. En limitant le nombre de modifications pouvant être appliquées simultanément, on évite que la version de compétence ne s’éloigne trop de son état précédent, préservant ainsi la continuité tout en permettant l’acquisition de nouvelles procédures.
Tout comme la vérification de la perte de validation dans le deep learning, les exemples stricts retenus garantissent que les modifications de texte apparemment plausibles ne sont conservées que si elles améliorent mathématiquement les performances réelles de l’agent lors de la répartition de validation.
À la fin d’une époque, SkillOpt effectue une mise à jour lente en comparant les tâches des compétences de l’époque précédente et actuelle. Cela agit comme un terme d’élan, faisant avancer les leçons procédurales durables et à long terme tout en les isolant des modifications rapides et par étapes.
SkillOpt en action
Pour évaluer la technique dans la pratique, les chercheurs ont testé SkillOpt sur différents modèles, allant des modèles frontières à grande échelle comme GPT-5.5 aux plus petits modèles fermés et ouverts, notamment GPT-5.4-mini et Qwen3.5-4B. Ils ont également déployé leurs compétences au sein de différents harnais d’exécution, en utilisant le chat simple ainsi que des harnais de codage complexes comme le Codex CLI et Claude Code.
L’évaluation a porté sur diverses références de l’industrie, notamment la réponse à des questions en un seul tour, la génération de code à plusieurs tours impliquant l’utilisation d’outils et le raisonnement multimodal de documents. SkillOpt a été mesuré par rapport à plusieurs références allant d’un paramètre par défaut sans compétence aux compétences écrites par l’homme et aux compétences générées en une seule fois par LLM. Il a également été comparé à des méthodes avancées d’optimisation rapide et d’évolution des compétences, en particulier Trace2Skill, TextGrad, GEPA et EvoSkill.
SkillOpt a dominé dans tous les domaines, se révélant très efficace sur les 52 combinaisons évaluées de modèle, de référence et de harnais. Il s’est avéré particulièrement efficace avec les modèles frontières, offrant une amélioration absolue moyenne de +23,5 points par rapport à la référence sans compétence sur GPT-5.5. De plus, SkillOpt a surpassé une base de référence oracle hypothétique qui sélectionne la meilleure méthode concurrente pour chaque problème.
Les petits modèles cibles ont enregistré d’immenses gains relatifs, prouvant qu’un fichier texte compact peut fournir des connaissances procédurales qui manquent aux petits modèles en termes de poids. Par exemple, GPT-5.4-nano a presque doublé son score en matière d’assurance qualité des documents multimodaux et a triplé son score en matière d’interaction incarnée et de prise de décision séquentielle.
Ces références académiques correspondent aux problèmes critiques de l’entreprise. Les modèles Zero-shot hallucinent souvent lors du formatage ou ne parviennent pas à utiliser correctement les outils dans des scénarios en plusieurs étapes. Yang a expliqué que les gains de performance les plus importants se sont produits dans les opérations que les entreprises ont toujours eu du mal à automatiser de manière fiable.
«Extraction de données documentaires… chiffres exacts à partir de contrats, factures et formulaires – automatisation des comptes fournisseurs, réclamations, conformité», a déclaré Yang. «Ce qui s’améliore, c’est la fiabilité : un formatage précis, une auto-vérification, des résultats vérifiables. Et les gains proviennent de la procédure d’apprentissage, et non de la mémorisation des réponses.»
Pour les professionnels de l’entreprise, la véritable valeur de SkillOpt réside dans sa portabilité, son efficacité et sa compatibilité avec l’infrastructure existante. Les expériences confirment que le cadre est indépendant du harnais. En plus du chat de base, la même boucle d’optimisation a été intégrée avec succès dans des environnements d’exécution basés sur des outils tels que Codex CLI et Claude Code, avec des gains significatifs par rapport aux références du secteur.
Les développeurs peuvent former une compétence à l’aide d’une boucle d’exécution et la déployer dans une autre. Par exemple, une compétence de feuille de calcul entièrement formée dans la boucle Codex a été déplacée directement dans Claude Code et a généré un gain de +59,7 points par rapport à la base de référence native de Claude Code sans aucun autre changement.
Les artefacts SkillOpt sont également transférés proprement à travers les échelles du modèle. Une compétence optimisée pour GPT-5.4 a été déployée sur les plus petits modèles GPT-5.4-mini et GPT-5.4-nano avec des gains positifs, prouvant que les procédures apprises codent des flux de travail réutilisables plutôt que d’exploiter simplement les bizarreries de l’architecture d’un modèle spécifique.
Enfin, le cadre est très efficace en ce qui concerne l’utilisation des jetons et l’immobilier de la fenêtre contextuelle. Dans tous les benchmarks, les compétences finales déployées n’ont jamais dépassé 2 000 tokens, avec une longueur médiane d’environ 920 tokens. Il en résulte des artefacts hautement lisibles et vérifiables qu’un praticien humain peut examiner et gérer en quelques minutes.
Stratégies de mise en œuvre et « piège » de l’entreprise
Pour les responsables technologiques d’entreprise, l’adoption d’un nouveau cadre nécessite d’en comprendre les frais généraux et les limites. Bien que le document de recherche indique que les jetons de formation peuvent atteindre jusqu’à 210 millions pour les références académiques, la réalité des cas d’utilisation quotidienne en entreprise est beaucoup plus légère. Le nombre élevé de jetons lors des tests était en grande partie dû à la réévaluation d’ensembles de tests massifs retenus.
«Le véritable travail initial est le vérificateur et une division représentative. L’optimiseur est léger; le faisceau d’évaluation est l’endroit où va l’ingénierie», a déclaré Yang. Il a ajouté que pour une utilisation quotidienne, «dans des cadres communautaires comme GBrain, où les mises à jour SkillOpt s’exécutent sur Claude Sonnet, la formation d’une compétence pour une seule tâche ne coûte en moyenne que 1 à 5 dollars». Ce coût d’optimisation est un frais unique qui est entièrement amorti lors du déploiement.
Cependant, le cadre nécessite des conditions spécifiques pour fonctionner efficacement, à savoir quelques dizaines d’exemples représentatifs et un signal de retour notable. Les équipes doivent éviter d’appliquer SkillOpt à des tâches ouvertes ou subjectives. «En l’absence d’un évaluateur automatique propre, vous devez concevoir un évaluateur basé sur un humain ou un modèle et surveiller sa stabilité», a déclaré Yang.
SkillOpt s’intègre également facilement aux piles d’orchestration existantes, supprimant ainsi un obstacle majeur à l’adoption. Par exemple, les développeurs utilisant déjà des compilateurs de pipeline peuvent exécuter les deux systèmes de manière harmonieuse. «DSpy est une couche différente et complémentaire», a déclaré Yang. «Il compile les pipelines LM déclaratifs et optimise la structure du programme ; SkillOpt optimise l’état des compétences externes qu’un agent gelé charge. Vous pouvez les exécuter ensemble.»
Pour l’avenir, les développeurs open source planifient déjà SkillOpt pour qu’il s’exécute périodiquement sur les trajectoires passées de leurs agents, créant ainsi un petit écosystème de plugins d’agent de code auto-optimisés. Cette boucle de rétroaction continue représente un changement important dans la façon dont les systèmes d’IA s’adaptent.
« La version précieuse de l’auto-amélioration est qu’un agent découvre de manière autonome des connaissances pour améliorer son propre comportement et l’expérience utilisateur, sous vérification et audit », a déclaré Yang. «Les compétences constituent la première étape la plus rapide, la moins chère et la plus réversible, et le même état d’esprit incite les agents à s’optimiser eux-mêmes, jusqu’à atteindre leur propre poids.»
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
Les compétences des agents sont devenues un élément important des applications d’IA du monde réel, fournissant un mécanisme (un ensemble d’instructions enregistrées dans un dossier de fichiers de démarques textuelles (.md), généralement) permettant aux modèles de s’adapter aux cas d’utilisation spécifiques de l’entreprise et aux flux de travail complexes.
Cependant, l’optimisation de ces compétences est un processus lent et défectueux, car elles ne peuvent pas être formées de la même manière que les paramètres du modèle d’IA sous-jacent. Au lieu de cela, les utilisateurs doivent généralement les mettre à jour manuellement en retapant les instructions dans chaque fichier, en jouant à un « jeu de devinettes » quant aux changements qui pourraient améliorer les performances de l’IA agentique et réduire les erreurs.
SkillOpt, un nouveau framework open source (sous licence MIT) développé par Microsoft, fait mieux : il introduit un optimiseur conçu pour les compétences des agents, transformant le document .md des compétences de l’agent en un objet pouvant être entraîné qui évolue en fonction des commentaires sur les performances.
Il utilise une optimisation de type apprentissage en profondeur pour permettre à l’IA d’explorer systématiquement les modifications apportées au document et de trouver la meilleure combinaison d’instructions. Plus important encore, il réalise cette adaptation procédurale sans apporter de modifications aux pondérations du modèle sous-jacent.
Selon diverses références du secteur, SkillOpt surpasse les références existantes, améliorant considérablement la précision de modèles tels que GPT-5.5 et Qwen. Le résultat est un ensemble d’artefacts de compétences compacts et transférables qui permettent aux agents d’IA de s’adapter sans effort à de nouveaux domaines.
Le défi de l’optimisation des compétences des agents
Les compétences des agents regroupent les connaissances procédurales dans des spécifications en langage naturel, notamment les heuristiques de domaine, les politiques d’utilisation des outils, les contraintes de sortie et les modes de défaillance connus. Ces compétences fournissent une interface externe permettant aux agents de s’adapter aux flux de travail complexes de l’entreprise. En pratique, les compétences des agents sont stockées sous forme de documents texte et insérées dans le contexte de l’agent avant exécution.
L’un des principaux avantages des compétences est qu’elles personnalisent le comportement du modèle sous-jacent sans modifier ses pondérations. Cependant, le document de compétences lui-même doit être peaufiné et optimisé pour obtenir les meilleures performances de l’agent.
Alors que l’apprentissage profond repose sur des contrôles mathématiques stricts pour la stabilité, l’ingénierie humaine repose souvent sur des essais et des erreurs. Lorsque l’on tente de mettre à jour automatiquement un document de compétences en fonction des commentaires, le manque de discipline mathématique rend le texte très volatil.
Yifan Yang, Senior Research SDE chez Microsoft Research Asia, a déclaré à VentureBeat que le problème n’est pas d’apporter des changements, mais de s’assurer que ces changements sont mathématiquement valables.
«Le point de rupture n’est pas de savoir si une équipe peut modifier une compétence, c’est qu’elle ne peut pas garantir que le changement constitue une amélioration», a déclaré Yang. «Trois modes d’échec se reproduisent : pas de contrôle de la taille des pas, donc les compétences dérivent ; pas de validation, donc un correctif qui se lit comme raisonnable est écrit et peut faire régresser silencieusement les performances ; et pas de mémoire négative, donc la même modification échouée continue de revenir.»
Pour illustrer la facilité avec laquelle les performances peuvent chuter lorsque les modifications ne sont pas validées mathématiquement, Yang a noté qu ‘»une réécriture non verrouillée a fait passer GPT-5.5 sur SpreadsheetBench de 41,8 à 41,1″.
Selon Yang, ces modes de défaillance sont amplifiés dans les flux de travail en plusieurs étapes « parce que c’est là que les modèles frontières sont les plus faibles. Pas sur le raisonnement, mais sur la discipline procédurale : format, auto-vérification, politique des outils ».
Avant SkillOpt, les compétences des agents étaient principalement fabriquées à la main, générées en une seule fois ou évoluaient via des pipelines d’auto-révision peu contrôlés qui ne pouvaient pas s’améliorer de manière fiable sous l’effet des commentaires.
Les méthodes d’optimisation d’invite telles que TextGrad et GEPA traitent les artefacts de langage comme des objets optimisables et utilisent le retour de trajectoire pour faire évoluer les invites, mais elles se concentrent sur des configurations à invite unique plutôt que de générer des artefacts de compétences persistants et réutilisables.
Parallèlement, les méthodes d’évolution et de découverte des compétences telles qu’EvoSkill et Trace2Skill convertissent les expériences d’exécution d’agents en leçons de trajectoire pour affiner les dossiers de compétences, créer des bibliothèques spécifiques à un domaine ou effectuer une recherche évolutive.
Aucun d’entre eux n’applique de contrôles de type apprentissage profond, tels que les taux d’apprentissage, les portes de validation et l’élan, qui sont nécessaires à la formation continue d’un document de compétences unique et compact.
Importer une discipline mathématique dans un texte
SkillOpt optimise un document texte via une boucle itérative de proposition et de test qui sépare le modèle exécutant les tâches du modèle optimisant la compétence. Le processus se déroule en plusieurs étapes :
-
SkillOpt commence par un document de compétences initial et un modèle cible gelé (ou harnais), où le modèle cible exécute un lot de tâches pour générer des trajectoires d’exécution qui servent de preuve pour l’étape en cours.
-
Un modèle d’optimisation hors ligne analyse ces trajectoires, séparant les succès des échecs en mini-lots. L’examen d’un mini-lot aide le modèle à identifier les erreurs de procédure systématiques plutôt que les anomalies ponctuelles. Sur la base de ces modèles, l’optimiseur propose des modifications structurelles d’ajout, de suppression ou de remplacement au document de compétences.
-
Les modifications proposées sont examinées pour filtrer les doublons ou les contradictions, et l’optimiseur classe ensuite ces modifications candidates en fonction de leur utilité attendue.
-
Plutôt que d’appliquer toutes les modifications proposées, SkillOpt découpe la liste en fonction d’un budget d’édition maximum pour cette étape, générant ainsi une compétence de candidat.
-
La compétence du candidat est évaluée sur un ensemble de validation retenu à l’aide du modèle cible. Si le candidat améliore la note de validation, celle-ci est acceptée et devient la nouvelle compétence actuelle. En cas d’échec, les modifications sont rejetées et envoyées vers un tampon de modification rejetée, fournissant un retour négatif afin que l’optimiseur sache qu’il ne doit pas répéter cette erreur.
SkillOpt aborde directement le problème du traitement du texte comme un objet pouvant être entraîné en important des concepts mathématiques issus de l’apprentissage profond. Les créateurs notent que « l’analogie du deep learning est opérationnelle plutôt que décorative », aidant le framework à éviter les problèmes d’instabilité associés à d’autres techniques d’optimisation.
Le budget d’édition agit comme un taux d’apprentissage. En limitant le nombre de modifications pouvant être appliquées simultanément, on évite que la version de compétence ne s’éloigne trop de son état précédent, préservant ainsi la continuité tout en permettant l’acquisition de nouvelles procédures.
Tout comme la vérification de la perte de validation dans le deep learning, les exemples stricts retenus garantissent que les modifications de texte apparemment plausibles ne sont conservées que si elles améliorent mathématiquement les performances réelles de l’agent lors de la répartition de validation.
À la fin d’une époque, SkillOpt effectue une mise à jour lente en comparant les tâches des compétences de l’époque précédente et actuelle. Cela agit comme un terme d’élan, faisant avancer les leçons procédurales durables et à long terme tout en les isolant des modifications rapides et par étapes.
SkillOpt en action
Pour évaluer la technique dans la pratique, les chercheurs ont testé SkillOpt sur différents modèles, allant des modèles frontières à grande échelle comme GPT-5.5 aux plus petits modèles fermés et ouverts, notamment GPT-5.4-mini et Qwen3.5-4B. Ils ont également déployé leurs compétences au sein de différents harnais d’exécution, en utilisant le chat simple ainsi que des harnais de codage complexes comme le Codex CLI et Claude Code.
L’évaluation a porté sur diverses références de l’industrie, notamment la réponse à des questions en un seul tour, la génération de code à plusieurs tours impliquant l’utilisation d’outils et le raisonnement multimodal de documents. SkillOpt a été mesuré par rapport à plusieurs références allant d’un paramètre par défaut sans compétence aux compétences écrites par l’homme et aux compétences générées en une seule fois par LLM. Il a également été comparé à des méthodes avancées d’optimisation rapide et d’évolution des compétences, en particulier Trace2Skill, TextGrad, GEPA et EvoSkill.
SkillOpt a dominé dans tous les domaines, se révélant très efficace sur les 52 combinaisons évaluées de modèle, de référence et de harnais. Il s’est avéré particulièrement efficace avec les modèles frontières, offrant une amélioration absolue moyenne de +23,5 points par rapport à la référence sans compétence sur GPT-5.5. De plus, SkillOpt a surpassé une base de référence oracle hypothétique qui sélectionne la meilleure méthode concurrente pour chaque problème.
Les petits modèles cibles ont enregistré d’immenses gains relatifs, prouvant qu’un fichier texte compact peut fournir des connaissances procédurales qui manquent aux petits modèles en termes de poids. Par exemple, GPT-5.4-nano a presque doublé son score en matière d’assurance qualité des documents multimodaux et a triplé son score en matière d’interaction incarnée et de prise de décision séquentielle.
Ces références académiques correspondent aux problèmes critiques de l’entreprise. Les modèles Zero-shot hallucinent souvent lors du formatage ou ne parviennent pas à utiliser correctement les outils dans des scénarios en plusieurs étapes. Yang a expliqué que les gains de performance les plus importants se sont produits dans les opérations que les entreprises ont toujours eu du mal à automatiser de manière fiable.
«Extraction de données documentaires… chiffres exacts à partir de contrats, factures et formulaires – automatisation des comptes fournisseurs, réclamations, conformité», a déclaré Yang. «Ce qui s’améliore, c’est la fiabilité : un formatage précis, une auto-vérification, des résultats vérifiables. Et les gains proviennent de la procédure d’apprentissage, et non de la mémorisation des réponses.»
Pour les professionnels de l’entreprise, la véritable valeur de SkillOpt réside dans sa portabilité, son efficacité et sa compatibilité avec l’infrastructure existante. Les expériences confirment que le cadre est indépendant du harnais. En plus du chat de base, la même boucle d’optimisation a été intégrée avec succès dans des environnements d’exécution basés sur des outils tels que Codex CLI et Claude Code, avec des gains significatifs par rapport aux références du secteur.
Les développeurs peuvent former une compétence à l’aide d’une boucle d’exécution et la déployer dans une autre. Par exemple, une compétence de feuille de calcul entièrement formée dans la boucle Codex a été déplacée directement dans Claude Code et a généré un gain de +59,7 points par rapport à la base de référence native de Claude Code sans aucun autre changement.
Les artefacts SkillOpt sont également transférés proprement à travers les échelles du modèle. Une compétence optimisée pour GPT-5.4 a été déployée sur les plus petits modèles GPT-5.4-mini et GPT-5.4-nano avec des gains positifs, prouvant que les procédures apprises codent des flux de travail réutilisables plutôt que d’exploiter simplement les bizarreries de l’architecture d’un modèle spécifique.
Enfin, le cadre est très efficace en ce qui concerne l’utilisation des jetons et l’immobilier de la fenêtre contextuelle. Dans tous les benchmarks, les compétences finales déployées n’ont jamais dépassé 2 000 tokens, avec une longueur médiane d’environ 920 tokens. Il en résulte des artefacts hautement lisibles et vérifiables qu’un praticien humain peut examiner et gérer en quelques minutes.
Stratégies de mise en œuvre et « piège » de l’entreprise
Pour les responsables technologiques d’entreprise, l’adoption d’un nouveau cadre nécessite d’en comprendre les frais généraux et les limites. Bien que le document de recherche indique que les jetons de formation peuvent atteindre jusqu’à 210 millions pour les références académiques, la réalité des cas d’utilisation quotidienne en entreprise est beaucoup plus légère. Le nombre élevé de jetons lors des tests était en grande partie dû à la réévaluation d’ensembles de tests massifs retenus.
«Le véritable travail initial est le vérificateur et une division représentative. L’optimiseur est léger; le faisceau d’évaluation est l’endroit où va l’ingénierie», a déclaré Yang. Il a ajouté que pour une utilisation quotidienne, «dans des cadres communautaires comme GBrain, où les mises à jour SkillOpt s’exécutent sur Claude Sonnet, la formation d’une compétence pour une seule tâche ne coûte en moyenne que 1 à 5 dollars». Ce coût d’optimisation est un frais unique qui est entièrement amorti lors du déploiement.
Cependant, le cadre nécessite des conditions spécifiques pour fonctionner efficacement, à savoir quelques dizaines d’exemples représentatifs et un signal de retour notable. Les équipes doivent éviter d’appliquer SkillOpt à des tâches ouvertes ou subjectives. «En l’absence d’un évaluateur automatique propre, vous devez concevoir un évaluateur basé sur un humain ou un modèle et surveiller sa stabilité», a déclaré Yang.
SkillOpt s’intègre également facilement aux piles d’orchestration existantes, supprimant ainsi un obstacle majeur à l’adoption. Par exemple, les développeurs utilisant déjà des compilateurs de pipeline peuvent exécuter les deux systèmes de manière harmonieuse. «DSpy est une couche différente et complémentaire», a déclaré Yang. «Il compile les pipelines LM déclaratifs et optimise la structure du programme ; SkillOpt optimise l’état des compétences externes qu’un agent gelé charge. Vous pouvez les exécuter ensemble.»
Pour l’avenir, les développeurs open source planifient déjà SkillOpt pour qu’il s’exécute périodiquement sur les trajectoires passées de leurs agents, créant ainsi un petit écosystème de plugins d’agent de code auto-optimisés. Cette boucle de rétroaction continue représente un changement important dans la façon dont les systèmes d’IA s’adaptent.
« La version précieuse de l’auto-amélioration est qu’un agent découvre de manière autonome des connaissances pour améliorer son propre comportement et l’expérience utilisateur, sous vérification et audit », a déclaré Yang. «Les compétences constituent la première étape la plus rapide, la moins chère et la plus réversible, et le même état d’esprit incite les agents à s’optimiser eux-mêmes, jusqu’à atteindre leur propre poids.»
Les compétences des agents sont devenues un élément important des applications d’IA du monde réel, fournissant un mécanisme (un ensemble d’instructions enregistrées dans un dossier de fichiers de démarques textuelles (.md), généralement) permettant aux modèles de s’adapter aux cas d’utilisation spécifiques de l’entreprise et aux flux de travail complexes.
Cependant, l’optimisation de ces compétences est un processus lent et défectueux, car elles ne peuvent pas être formées de la même manière que les paramètres du modèle d’IA sous-jacent. Au lieu de cela, les utilisateurs doivent généralement les mettre à jour manuellement en retapant les instructions dans chaque fichier, en jouant à un « jeu de devinettes » quant aux changements qui pourraient améliorer les performances de l’IA agentique et réduire les erreurs.
SkillOpt, un nouveau framework open source (sous licence MIT) développé par Microsoft, fait mieux : il introduit un optimiseur conçu pour les compétences des agents, transformant le document .md des compétences de l’agent en un objet pouvant être entraîné qui évolue en fonction des commentaires sur les performances.
Il utilise une optimisation de type apprentissage en profondeur pour permettre à l’IA d’explorer systématiquement les modifications apportées au document et de trouver la meilleure combinaison d’instructions. Plus important encore, il réalise cette adaptation procédurale sans apporter de modifications aux pondérations du modèle sous-jacent.
Selon diverses références du secteur, SkillOpt surpasse les références existantes, améliorant considérablement la précision de modèles tels que GPT-5.5 et Qwen. Le résultat est un ensemble d’artefacts de compétences compacts et transférables qui permettent aux agents d’IA de s’adapter sans effort à de nouveaux domaines.
Le défi de l’optimisation des compétences des agents
Les compétences des agents regroupent les connaissances procédurales dans des spécifications en langage naturel, notamment les heuristiques de domaine, les politiques d’utilisation des outils, les contraintes de sortie et les modes de défaillance connus. Ces compétences fournissent une interface externe permettant aux agents de s’adapter aux flux de travail complexes de l’entreprise. En pratique, les compétences des agents sont stockées sous forme de documents texte et insérées dans le contexte de l’agent avant exécution.
L’un des principaux avantages des compétences est qu’elles personnalisent le comportement du modèle sous-jacent sans modifier ses pondérations. Cependant, le document de compétences lui-même doit être peaufiné et optimisé pour obtenir les meilleures performances de l’agent.
Alors que l’apprentissage profond repose sur des contrôles mathématiques stricts pour la stabilité, l’ingénierie humaine repose souvent sur des essais et des erreurs. Lorsque l’on tente de mettre à jour automatiquement un document de compétences en fonction des commentaires, le manque de discipline mathématique rend le texte très volatil.
Yifan Yang, Senior Research SDE chez Microsoft Research Asia, a déclaré à VentureBeat que le problème n’est pas d’apporter des changements, mais de s’assurer que ces changements sont mathématiquement valables.
«Le point de rupture n’est pas de savoir si une équipe peut modifier une compétence, c’est qu’elle ne peut pas garantir que le changement constitue une amélioration», a déclaré Yang. «Trois modes d’échec se reproduisent : pas de contrôle de la taille des pas, donc les compétences dérivent ; pas de validation, donc un correctif qui se lit comme raisonnable est écrit et peut faire régresser silencieusement les performances ; et pas de mémoire négative, donc la même modification échouée continue de revenir.»
Pour illustrer la facilité avec laquelle les performances peuvent chuter lorsque les modifications ne sont pas validées mathématiquement, Yang a noté qu ‘»une réécriture non verrouillée a fait passer GPT-5.5 sur SpreadsheetBench de 41,8 à 41,1″.
Selon Yang, ces modes de défaillance sont amplifiés dans les flux de travail en plusieurs étapes « parce que c’est là que les modèles frontières sont les plus faibles. Pas sur le raisonnement, mais sur la discipline procédurale : format, auto-vérification, politique des outils ».
Avant SkillOpt, les compétences des agents étaient principalement fabriquées à la main, générées en une seule fois ou évoluaient via des pipelines d’auto-révision peu contrôlés qui ne pouvaient pas s’améliorer de manière fiable sous l’effet des commentaires.
Les méthodes d’optimisation d’invite telles que TextGrad et GEPA traitent les artefacts de langage comme des objets optimisables et utilisent le retour de trajectoire pour faire évoluer les invites, mais elles se concentrent sur des configurations à invite unique plutôt que de générer des artefacts de compétences persistants et réutilisables.
Parallèlement, les méthodes d’évolution et de découverte des compétences telles qu’EvoSkill et Trace2Skill convertissent les expériences d’exécution d’agents en leçons de trajectoire pour affiner les dossiers de compétences, créer des bibliothèques spécifiques à un domaine ou effectuer une recherche évolutive.
Aucun d’entre eux n’applique de contrôles de type apprentissage profond, tels que les taux d’apprentissage, les portes de validation et l’élan, qui sont nécessaires à la formation continue d’un document de compétences unique et compact.
Importer une discipline mathématique dans un texte
SkillOpt optimise un document texte via une boucle itérative de proposition et de test qui sépare le modèle exécutant les tâches du modèle optimisant la compétence. Le processus se déroule en plusieurs étapes :
-
SkillOpt commence par un document de compétences initial et un modèle cible gelé (ou harnais), où le modèle cible exécute un lot de tâches pour générer des trajectoires d’exécution qui servent de preuve pour l’étape en cours.
-
Un modèle d’optimisation hors ligne analyse ces trajectoires, séparant les succès des échecs en mini-lots. L’examen d’un mini-lot aide le modèle à identifier les erreurs de procédure systématiques plutôt que les anomalies ponctuelles. Sur la base de ces modèles, l’optimiseur propose des modifications structurelles d’ajout, de suppression ou de remplacement au document de compétences.
-
Les modifications proposées sont examinées pour filtrer les doublons ou les contradictions, et l’optimiseur classe ensuite ces modifications candidates en fonction de leur utilité attendue.
-
Plutôt que d’appliquer toutes les modifications proposées, SkillOpt découpe la liste en fonction d’un budget d’édition maximum pour cette étape, générant ainsi une compétence de candidat.
-
La compétence du candidat est évaluée sur un ensemble de validation retenu à l’aide du modèle cible. Si le candidat améliore la note de validation, celle-ci est acceptée et devient la nouvelle compétence actuelle. En cas d’échec, les modifications sont rejetées et envoyées vers un tampon de modification rejetée, fournissant un retour négatif afin que l’optimiseur sache qu’il ne doit pas répéter cette erreur.
SkillOpt aborde directement le problème du traitement du texte comme un objet pouvant être entraîné en important des concepts mathématiques issus de l’apprentissage profond. Les créateurs notent que « l’analogie du deep learning est opérationnelle plutôt que décorative », aidant le framework à éviter les problèmes d’instabilité associés à d’autres techniques d’optimisation.
Le budget d’édition agit comme un taux d’apprentissage. En limitant le nombre de modifications pouvant être appliquées simultanément, on évite que la version de compétence ne s’éloigne trop de son état précédent, préservant ainsi la continuité tout en permettant l’acquisition de nouvelles procédures.
Tout comme la vérification de la perte de validation dans le deep learning, les exemples stricts retenus garantissent que les modifications de texte apparemment plausibles ne sont conservées que si elles améliorent mathématiquement les performances réelles de l’agent lors de la répartition de validation.
À la fin d’une époque, SkillOpt effectue une mise à jour lente en comparant les tâches des compétences de l’époque précédente et actuelle. Cela agit comme un terme d’élan, faisant avancer les leçons procédurales durables et à long terme tout en les isolant des modifications rapides et par étapes.
SkillOpt en action
Pour évaluer la technique dans la pratique, les chercheurs ont testé SkillOpt sur différents modèles, allant des modèles frontières à grande échelle comme GPT-5.5 aux plus petits modèles fermés et ouverts, notamment GPT-5.4-mini et Qwen3.5-4B. Ils ont également déployé leurs compétences au sein de différents harnais d’exécution, en utilisant le chat simple ainsi que des harnais de codage complexes comme le Codex CLI et Claude Code.
L’évaluation a porté sur diverses références de l’industrie, notamment la réponse à des questions en un seul tour, la génération de code à plusieurs tours impliquant l’utilisation d’outils et le raisonnement multimodal de documents. SkillOpt a été mesuré par rapport à plusieurs références allant d’un paramètre par défaut sans compétence aux compétences écrites par l’homme et aux compétences générées en une seule fois par LLM. Il a également été comparé à des méthodes avancées d’optimisation rapide et d’évolution des compétences, en particulier Trace2Skill, TextGrad, GEPA et EvoSkill.
SkillOpt a dominé dans tous les domaines, se révélant très efficace sur les 52 combinaisons évaluées de modèle, de référence et de harnais. Il s’est avéré particulièrement efficace avec les modèles frontières, offrant une amélioration absolue moyenne de +23,5 points par rapport à la référence sans compétence sur GPT-5.5. De plus, SkillOpt a surpassé une base de référence oracle hypothétique qui sélectionne la meilleure méthode concurrente pour chaque problème.
Les petits modèles cibles ont enregistré d’immenses gains relatifs, prouvant qu’un fichier texte compact peut fournir des connaissances procédurales qui manquent aux petits modèles en termes de poids. Par exemple, GPT-5.4-nano a presque doublé son score en matière d’assurance qualité des documents multimodaux et a triplé son score en matière d’interaction incarnée et de prise de décision séquentielle.
Ces références académiques correspondent aux problèmes critiques de l’entreprise. Les modèles Zero-shot hallucinent souvent lors du formatage ou ne parviennent pas à utiliser correctement les outils dans des scénarios en plusieurs étapes. Yang a expliqué que les gains de performance les plus importants se sont produits dans les opérations que les entreprises ont toujours eu du mal à automatiser de manière fiable.
«Extraction de données documentaires… chiffres exacts à partir de contrats, factures et formulaires – automatisation des comptes fournisseurs, réclamations, conformité», a déclaré Yang. «Ce qui s’améliore, c’est la fiabilité : un formatage précis, une auto-vérification, des résultats vérifiables. Et les gains proviennent de la procédure d’apprentissage, et non de la mémorisation des réponses.»
Pour les professionnels de l’entreprise, la véritable valeur de SkillOpt réside dans sa portabilité, son efficacité et sa compatibilité avec l’infrastructure existante. Les expériences confirment que le cadre est indépendant du harnais. En plus du chat de base, la même boucle d’optimisation a été intégrée avec succès dans des environnements d’exécution basés sur des outils tels que Codex CLI et Claude Code, avec des gains significatifs par rapport aux références du secteur.
Les développeurs peuvent former une compétence à l’aide d’une boucle d’exécution et la déployer dans une autre. Par exemple, une compétence de feuille de calcul entièrement formée dans la boucle Codex a été déplacée directement dans Claude Code et a généré un gain de +59,7 points par rapport à la base de référence native de Claude Code sans aucun autre changement.
Les artefacts SkillOpt sont également transférés proprement à travers les échelles du modèle. Une compétence optimisée pour GPT-5.4 a été déployée sur les plus petits modèles GPT-5.4-mini et GPT-5.4-nano avec des gains positifs, prouvant que les procédures apprises codent des flux de travail réutilisables plutôt que d’exploiter simplement les bizarreries de l’architecture d’un modèle spécifique.
Enfin, le cadre est très efficace en ce qui concerne l’utilisation des jetons et l’immobilier de la fenêtre contextuelle. Dans tous les benchmarks, les compétences finales déployées n’ont jamais dépassé 2 000 tokens, avec une longueur médiane d’environ 920 tokens. Il en résulte des artefacts hautement lisibles et vérifiables qu’un praticien humain peut examiner et gérer en quelques minutes.
Stratégies de mise en œuvre et « piège » de l’entreprise
Pour les responsables technologiques d’entreprise, l’adoption d’un nouveau cadre nécessite d’en comprendre les frais généraux et les limites. Bien que le document de recherche indique que les jetons de formation peuvent atteindre jusqu’à 210 millions pour les références académiques, la réalité des cas d’utilisation quotidienne en entreprise est beaucoup plus légère. Le nombre élevé de jetons lors des tests était en grande partie dû à la réévaluation d’ensembles de tests massifs retenus.
«Le véritable travail initial est le vérificateur et une division représentative. L’optimiseur est léger; le faisceau d’évaluation est l’endroit où va l’ingénierie», a déclaré Yang. Il a ajouté que pour une utilisation quotidienne, «dans des cadres communautaires comme GBrain, où les mises à jour SkillOpt s’exécutent sur Claude Sonnet, la formation d’une compétence pour une seule tâche ne coûte en moyenne que 1 à 5 dollars». Ce coût d’optimisation est un frais unique qui est entièrement amorti lors du déploiement.
Cependant, le cadre nécessite des conditions spécifiques pour fonctionner efficacement, à savoir quelques dizaines d’exemples représentatifs et un signal de retour notable. Les équipes doivent éviter d’appliquer SkillOpt à des tâches ouvertes ou subjectives. «En l’absence d’un évaluateur automatique propre, vous devez concevoir un évaluateur basé sur un humain ou un modèle et surveiller sa stabilité», a déclaré Yang.
SkillOpt s’intègre également facilement aux piles d’orchestration existantes, supprimant ainsi un obstacle majeur à l’adoption. Par exemple, les développeurs utilisant déjà des compilateurs de pipeline peuvent exécuter les deux systèmes de manière harmonieuse. «DSpy est une couche différente et complémentaire», a déclaré Yang. «Il compile les pipelines LM déclaratifs et optimise la structure du programme ; SkillOpt optimise l’état des compétences externes qu’un agent gelé charge. Vous pouvez les exécuter ensemble.»
Pour l’avenir, les développeurs open source planifient déjà SkillOpt pour qu’il s’exécute périodiquement sur les trajectoires passées de leurs agents, créant ainsi un petit écosystème de plugins d’agent de code auto-optimisés. Cette boucle de rétroaction continue représente un changement important dans la façon dont les systèmes d’IA s’adaptent.
« La version précieuse de l’auto-amélioration est qu’un agent découvre de manière autonome des connaissances pour améliorer son propre comportement et l’expérience utilisateur, sous vérification et audit », a déclaré Yang. «Les compétences constituent la première étape la plus rapide, la moins chère et la plus réversible, et le même état d’esprit incite les agents à s’optimiser eux-mêmes, jusqu’à atteindre leur propre poids.»
Les compétences des agents sont devenues un élément important des applications d’IA du monde réel, fournissant un mécanisme (un ensemble d’instructions enregistrées dans un dossier de fichiers de démarques textuelles (.md), généralement) permettant aux modèles de s’adapter aux cas d’utilisation spécifiques de l’entreprise et aux flux de travail complexes.
Cependant, l’optimisation de ces compétences est un processus lent et défectueux, car elles ne peuvent pas être formées de la même manière que les paramètres du modèle d’IA sous-jacent. Au lieu de cela, les utilisateurs doivent généralement les mettre à jour manuellement en retapant les instructions dans chaque fichier, en jouant à un « jeu de devinettes » quant aux changements qui pourraient améliorer les performances de l’IA agentique et réduire les erreurs.
SkillOpt, un nouveau framework open source (sous licence MIT) développé par Microsoft, fait mieux : il introduit un optimiseur conçu pour les compétences des agents, transformant le document .md des compétences de l’agent en un objet pouvant être entraîné qui évolue en fonction des commentaires sur les performances.
Il utilise une optimisation de type apprentissage en profondeur pour permettre à l’IA d’explorer systématiquement les modifications apportées au document et de trouver la meilleure combinaison d’instructions. Plus important encore, il réalise cette adaptation procédurale sans apporter de modifications aux pondérations du modèle sous-jacent.
Selon diverses références du secteur, SkillOpt surpasse les références existantes, améliorant considérablement la précision de modèles tels que GPT-5.5 et Qwen. Le résultat est un ensemble d’artefacts de compétences compacts et transférables qui permettent aux agents d’IA de s’adapter sans effort à de nouveaux domaines.
Le défi de l’optimisation des compétences des agents
Les compétences des agents regroupent les connaissances procédurales dans des spécifications en langage naturel, notamment les heuristiques de domaine, les politiques d’utilisation des outils, les contraintes de sortie et les modes de défaillance connus. Ces compétences fournissent une interface externe permettant aux agents de s’adapter aux flux de travail complexes de l’entreprise. En pratique, les compétences des agents sont stockées sous forme de documents texte et insérées dans le contexte de l’agent avant exécution.
L’un des principaux avantages des compétences est qu’elles personnalisent le comportement du modèle sous-jacent sans modifier ses pondérations. Cependant, le document de compétences lui-même doit être peaufiné et optimisé pour obtenir les meilleures performances de l’agent.
Alors que l’apprentissage profond repose sur des contrôles mathématiques stricts pour la stabilité, l’ingénierie humaine repose souvent sur des essais et des erreurs. Lorsque l’on tente de mettre à jour automatiquement un document de compétences en fonction des commentaires, le manque de discipline mathématique rend le texte très volatil.
Yifan Yang, Senior Research SDE chez Microsoft Research Asia, a déclaré à VentureBeat que le problème n’est pas d’apporter des changements, mais de s’assurer que ces changements sont mathématiquement valables.
«Le point de rupture n’est pas de savoir si une équipe peut modifier une compétence, c’est qu’elle ne peut pas garantir que le changement constitue une amélioration», a déclaré Yang. «Trois modes d’échec se reproduisent : pas de contrôle de la taille des pas, donc les compétences dérivent ; pas de validation, donc un correctif qui se lit comme raisonnable est écrit et peut faire régresser silencieusement les performances ; et pas de mémoire négative, donc la même modification échouée continue de revenir.»
Pour illustrer la facilité avec laquelle les performances peuvent chuter lorsque les modifications ne sont pas validées mathématiquement, Yang a noté qu ‘»une réécriture non verrouillée a fait passer GPT-5.5 sur SpreadsheetBench de 41,8 à 41,1″.
Selon Yang, ces modes de défaillance sont amplifiés dans les flux de travail en plusieurs étapes « parce que c’est là que les modèles frontières sont les plus faibles. Pas sur le raisonnement, mais sur la discipline procédurale : format, auto-vérification, politique des outils ».
Avant SkillOpt, les compétences des agents étaient principalement fabriquées à la main, générées en une seule fois ou évoluaient via des pipelines d’auto-révision peu contrôlés qui ne pouvaient pas s’améliorer de manière fiable sous l’effet des commentaires.
Les méthodes d’optimisation d’invite telles que TextGrad et GEPA traitent les artefacts de langage comme des objets optimisables et utilisent le retour de trajectoire pour faire évoluer les invites, mais elles se concentrent sur des configurations à invite unique plutôt que de générer des artefacts de compétences persistants et réutilisables.
Parallèlement, les méthodes d’évolution et de découverte des compétences telles qu’EvoSkill et Trace2Skill convertissent les expériences d’exécution d’agents en leçons de trajectoire pour affiner les dossiers de compétences, créer des bibliothèques spécifiques à un domaine ou effectuer une recherche évolutive.
Aucun d’entre eux n’applique de contrôles de type apprentissage profond, tels que les taux d’apprentissage, les portes de validation et l’élan, qui sont nécessaires à la formation continue d’un document de compétences unique et compact.
Importer une discipline mathématique dans un texte
SkillOpt optimise un document texte via une boucle itérative de proposition et de test qui sépare le modèle exécutant les tâches du modèle optimisant la compétence. Le processus se déroule en plusieurs étapes :
-
SkillOpt commence par un document de compétences initial et un modèle cible gelé (ou harnais), où le modèle cible exécute un lot de tâches pour générer des trajectoires d’exécution qui servent de preuve pour l’étape en cours.
-
Un modèle d’optimisation hors ligne analyse ces trajectoires, séparant les succès des échecs en mini-lots. L’examen d’un mini-lot aide le modèle à identifier les erreurs de procédure systématiques plutôt que les anomalies ponctuelles. Sur la base de ces modèles, l’optimiseur propose des modifications structurelles d’ajout, de suppression ou de remplacement au document de compétences.
-
Les modifications proposées sont examinées pour filtrer les doublons ou les contradictions, et l’optimiseur classe ensuite ces modifications candidates en fonction de leur utilité attendue.
-
Plutôt que d’appliquer toutes les modifications proposées, SkillOpt découpe la liste en fonction d’un budget d’édition maximum pour cette étape, générant ainsi une compétence de candidat.
-
La compétence du candidat est évaluée sur un ensemble de validation retenu à l’aide du modèle cible. Si le candidat améliore la note de validation, celle-ci est acceptée et devient la nouvelle compétence actuelle. En cas d’échec, les modifications sont rejetées et envoyées vers un tampon de modification rejetée, fournissant un retour négatif afin que l’optimiseur sache qu’il ne doit pas répéter cette erreur.
SkillOpt aborde directement le problème du traitement du texte comme un objet pouvant être entraîné en important des concepts mathématiques issus de l’apprentissage profond. Les créateurs notent que « l’analogie du deep learning est opérationnelle plutôt que décorative », aidant le framework à éviter les problèmes d’instabilité associés à d’autres techniques d’optimisation.
Le budget d’édition agit comme un taux d’apprentissage. En limitant le nombre de modifications pouvant être appliquées simultanément, on évite que la version de compétence ne s’éloigne trop de son état précédent, préservant ainsi la continuité tout en permettant l’acquisition de nouvelles procédures.
Tout comme la vérification de la perte de validation dans le deep learning, les exemples stricts retenus garantissent que les modifications de texte apparemment plausibles ne sont conservées que si elles améliorent mathématiquement les performances réelles de l’agent lors de la répartition de validation.
À la fin d’une époque, SkillOpt effectue une mise à jour lente en comparant les tâches des compétences de l’époque précédente et actuelle. Cela agit comme un terme d’élan, faisant avancer les leçons procédurales durables et à long terme tout en les isolant des modifications rapides et par étapes.
SkillOpt en action
Pour évaluer la technique dans la pratique, les chercheurs ont testé SkillOpt sur différents modèles, allant des modèles frontières à grande échelle comme GPT-5.5 aux plus petits modèles fermés et ouverts, notamment GPT-5.4-mini et Qwen3.5-4B. Ils ont également déployé leurs compétences au sein de différents harnais d’exécution, en utilisant le chat simple ainsi que des harnais de codage complexes comme le Codex CLI et Claude Code.
L’évaluation a porté sur diverses références de l’industrie, notamment la réponse à des questions en un seul tour, la génération de code à plusieurs tours impliquant l’utilisation d’outils et le raisonnement multimodal de documents. SkillOpt a été mesuré par rapport à plusieurs références allant d’un paramètre par défaut sans compétence aux compétences écrites par l’homme et aux compétences générées en une seule fois par LLM. Il a également été comparé à des méthodes avancées d’optimisation rapide et d’évolution des compétences, en particulier Trace2Skill, TextGrad, GEPA et EvoSkill.
SkillOpt a dominé dans tous les domaines, se révélant très efficace sur les 52 combinaisons évaluées de modèle, de référence et de harnais. Il s’est avéré particulièrement efficace avec les modèles frontières, offrant une amélioration absolue moyenne de +23,5 points par rapport à la référence sans compétence sur GPT-5.5. De plus, SkillOpt a surpassé une base de référence oracle hypothétique qui sélectionne la meilleure méthode concurrente pour chaque problème.
Les petits modèles cibles ont enregistré d’immenses gains relatifs, prouvant qu’un fichier texte compact peut fournir des connaissances procédurales qui manquent aux petits modèles en termes de poids. Par exemple, GPT-5.4-nano a presque doublé son score en matière d’assurance qualité des documents multimodaux et a triplé son score en matière d’interaction incarnée et de prise de décision séquentielle.
Ces références académiques correspondent aux problèmes critiques de l’entreprise. Les modèles Zero-shot hallucinent souvent lors du formatage ou ne parviennent pas à utiliser correctement les outils dans des scénarios en plusieurs étapes. Yang a expliqué que les gains de performance les plus importants se sont produits dans les opérations que les entreprises ont toujours eu du mal à automatiser de manière fiable.
«Extraction de données documentaires… chiffres exacts à partir de contrats, factures et formulaires – automatisation des comptes fournisseurs, réclamations, conformité», a déclaré Yang. «Ce qui s’améliore, c’est la fiabilité : un formatage précis, une auto-vérification, des résultats vérifiables. Et les gains proviennent de la procédure d’apprentissage, et non de la mémorisation des réponses.»
Pour les professionnels de l’entreprise, la véritable valeur de SkillOpt réside dans sa portabilité, son efficacité et sa compatibilité avec l’infrastructure existante. Les expériences confirment que le cadre est indépendant du harnais. En plus du chat de base, la même boucle d’optimisation a été intégrée avec succès dans des environnements d’exécution basés sur des outils tels que Codex CLI et Claude Code, avec des gains significatifs par rapport aux références du secteur.
Les développeurs peuvent former une compétence à l’aide d’une boucle d’exécution et la déployer dans une autre. Par exemple, une compétence de feuille de calcul entièrement formée dans la boucle Codex a été déplacée directement dans Claude Code et a généré un gain de +59,7 points par rapport à la base de référence native de Claude Code sans aucun autre changement.
Les artefacts SkillOpt sont également transférés proprement à travers les échelles du modèle. Une compétence optimisée pour GPT-5.4 a été déployée sur les plus petits modèles GPT-5.4-mini et GPT-5.4-nano avec des gains positifs, prouvant que les procédures apprises codent des flux de travail réutilisables plutôt que d’exploiter simplement les bizarreries de l’architecture d’un modèle spécifique.
Enfin, le cadre est très efficace en ce qui concerne l’utilisation des jetons et l’immobilier de la fenêtre contextuelle. Dans tous les benchmarks, les compétences finales déployées n’ont jamais dépassé 2 000 tokens, avec une longueur médiane d’environ 920 tokens. Il en résulte des artefacts hautement lisibles et vérifiables qu’un praticien humain peut examiner et gérer en quelques minutes.
Stratégies de mise en œuvre et « piège » de l’entreprise
Pour les responsables technologiques d’entreprise, l’adoption d’un nouveau cadre nécessite d’en comprendre les frais généraux et les limites. Bien que le document de recherche indique que les jetons de formation peuvent atteindre jusqu’à 210 millions pour les références académiques, la réalité des cas d’utilisation quotidienne en entreprise est beaucoup plus légère. Le nombre élevé de jetons lors des tests était en grande partie dû à la réévaluation d’ensembles de tests massifs retenus.
«Le véritable travail initial est le vérificateur et une division représentative. L’optimiseur est léger; le faisceau d’évaluation est l’endroit où va l’ingénierie», a déclaré Yang. Il a ajouté que pour une utilisation quotidienne, «dans des cadres communautaires comme GBrain, où les mises à jour SkillOpt s’exécutent sur Claude Sonnet, la formation d’une compétence pour une seule tâche ne coûte en moyenne que 1 à 5 dollars». Ce coût d’optimisation est un frais unique qui est entièrement amorti lors du déploiement.
Cependant, le cadre nécessite des conditions spécifiques pour fonctionner efficacement, à savoir quelques dizaines d’exemples représentatifs et un signal de retour notable. Les équipes doivent éviter d’appliquer SkillOpt à des tâches ouvertes ou subjectives. «En l’absence d’un évaluateur automatique propre, vous devez concevoir un évaluateur basé sur un humain ou un modèle et surveiller sa stabilité», a déclaré Yang.
SkillOpt s’intègre également facilement aux piles d’orchestration existantes, supprimant ainsi un obstacle majeur à l’adoption. Par exemple, les développeurs utilisant déjà des compilateurs de pipeline peuvent exécuter les deux systèmes de manière harmonieuse. «DSpy est une couche différente et complémentaire», a déclaré Yang. «Il compile les pipelines LM déclaratifs et optimise la structure du programme ; SkillOpt optimise l’état des compétences externes qu’un agent gelé charge. Vous pouvez les exécuter ensemble.»
Pour l’avenir, les développeurs open source planifient déjà SkillOpt pour qu’il s’exécute périodiquement sur les trajectoires passées de leurs agents, créant ainsi un petit écosystème de plugins d’agent de code auto-optimisés. Cette boucle de rétroaction continue représente un changement important dans la façon dont les systèmes d’IA s’adaptent.
« La version précieuse de l’auto-amélioration est qu’un agent découvre de manière autonome des connaissances pour améliorer son propre comportement et l’expérience utilisateur, sous vérification et audit », a déclaré Yang. «Les compétences constituent la première étape la plus rapide, la moins chère et la plus réversible, et le même état d’esprit incite les agents à s’optimiser eux-mêmes, jusqu’à atteindre leur propre poids.»
Les compétences des agents sont devenues un élément important des applications d’IA du monde réel, fournissant un mécanisme (un ensemble d’instructions enregistrées dans un dossier de fichiers de démarques textuelles (.md), généralement) permettant aux modèles de s’adapter aux cas d’utilisation spécifiques de l’entreprise et aux flux de travail complexes.
Cependant, l’optimisation de ces compétences est un processus lent et défectueux, car elles ne peuvent pas être formées de la même manière que les paramètres du modèle d’IA sous-jacent. Au lieu de cela, les utilisateurs doivent généralement les mettre à jour manuellement en retapant les instructions dans chaque fichier, en jouant à un « jeu de devinettes » quant aux changements qui pourraient améliorer les performances de l’IA agentique et réduire les erreurs.
SkillOpt, un nouveau framework open source (sous licence MIT) développé par Microsoft, fait mieux : il introduit un optimiseur conçu pour les compétences des agents, transformant le document .md des compétences de l’agent en un objet pouvant être entraîné qui évolue en fonction des commentaires sur les performances.
Il utilise une optimisation de type apprentissage en profondeur pour permettre à l’IA d’explorer systématiquement les modifications apportées au document et de trouver la meilleure combinaison d’instructions. Plus important encore, il réalise cette adaptation procédurale sans apporter de modifications aux pondérations du modèle sous-jacent.
Selon diverses références du secteur, SkillOpt surpasse les références existantes, améliorant considérablement la précision de modèles tels que GPT-5.5 et Qwen. Le résultat est un ensemble d’artefacts de compétences compacts et transférables qui permettent aux agents d’IA de s’adapter sans effort à de nouveaux domaines.
Le défi de l’optimisation des compétences des agents
Les compétences des agents regroupent les connaissances procédurales dans des spécifications en langage naturel, notamment les heuristiques de domaine, les politiques d’utilisation des outils, les contraintes de sortie et les modes de défaillance connus. Ces compétences fournissent une interface externe permettant aux agents de s’adapter aux flux de travail complexes de l’entreprise. En pratique, les compétences des agents sont stockées sous forme de documents texte et insérées dans le contexte de l’agent avant exécution.
L’un des principaux avantages des compétences est qu’elles personnalisent le comportement du modèle sous-jacent sans modifier ses pondérations. Cependant, le document de compétences lui-même doit être peaufiné et optimisé pour obtenir les meilleures performances de l’agent.
Alors que l’apprentissage profond repose sur des contrôles mathématiques stricts pour la stabilité, l’ingénierie humaine repose souvent sur des essais et des erreurs. Lorsque l’on tente de mettre à jour automatiquement un document de compétences en fonction des commentaires, le manque de discipline mathématique rend le texte très volatil.
Yifan Yang, Senior Research SDE chez Microsoft Research Asia, a déclaré à VentureBeat que le problème n’est pas d’apporter des changements, mais de s’assurer que ces changements sont mathématiquement valables.
«Le point de rupture n’est pas de savoir si une équipe peut modifier une compétence, c’est qu’elle ne peut pas garantir que le changement constitue une amélioration», a déclaré Yang. «Trois modes d’échec se reproduisent : pas de contrôle de la taille des pas, donc les compétences dérivent ; pas de validation, donc un correctif qui se lit comme raisonnable est écrit et peut faire régresser silencieusement les performances ; et pas de mémoire négative, donc la même modification échouée continue de revenir.»
Pour illustrer la facilité avec laquelle les performances peuvent chuter lorsque les modifications ne sont pas validées mathématiquement, Yang a noté qu ‘»une réécriture non verrouillée a fait passer GPT-5.5 sur SpreadsheetBench de 41,8 à 41,1″.
Selon Yang, ces modes de défaillance sont amplifiés dans les flux de travail en plusieurs étapes « parce que c’est là que les modèles frontières sont les plus faibles. Pas sur le raisonnement, mais sur la discipline procédurale : format, auto-vérification, politique des outils ».
Avant SkillOpt, les compétences des agents étaient principalement fabriquées à la main, générées en une seule fois ou évoluaient via des pipelines d’auto-révision peu contrôlés qui ne pouvaient pas s’améliorer de manière fiable sous l’effet des commentaires.
Les méthodes d’optimisation d’invite telles que TextGrad et GEPA traitent les artefacts de langage comme des objets optimisables et utilisent le retour de trajectoire pour faire évoluer les invites, mais elles se concentrent sur des configurations à invite unique plutôt que de générer des artefacts de compétences persistants et réutilisables.
Parallèlement, les méthodes d’évolution et de découverte des compétences telles qu’EvoSkill et Trace2Skill convertissent les expériences d’exécution d’agents en leçons de trajectoire pour affiner les dossiers de compétences, créer des bibliothèques spécifiques à un domaine ou effectuer une recherche évolutive.
Aucun d’entre eux n’applique de contrôles de type apprentissage profond, tels que les taux d’apprentissage, les portes de validation et l’élan, qui sont nécessaires à la formation continue d’un document de compétences unique et compact.
Importer une discipline mathématique dans un texte
SkillOpt optimise un document texte via une boucle itérative de proposition et de test qui sépare le modèle exécutant les tâches du modèle optimisant la compétence. Le processus se déroule en plusieurs étapes :
-
SkillOpt commence par un document de compétences initial et un modèle cible gelé (ou harnais), où le modèle cible exécute un lot de tâches pour générer des trajectoires d’exécution qui servent de preuve pour l’étape en cours.
-
Un modèle d’optimisation hors ligne analyse ces trajectoires, séparant les succès des échecs en mini-lots. L’examen d’un mini-lot aide le modèle à identifier les erreurs de procédure systématiques plutôt que les anomalies ponctuelles. Sur la base de ces modèles, l’optimiseur propose des modifications structurelles d’ajout, de suppression ou de remplacement au document de compétences.
-
Les modifications proposées sont examinées pour filtrer les doublons ou les contradictions, et l’optimiseur classe ensuite ces modifications candidates en fonction de leur utilité attendue.
-
Plutôt que d’appliquer toutes les modifications proposées, SkillOpt découpe la liste en fonction d’un budget d’édition maximum pour cette étape, générant ainsi une compétence de candidat.
-
La compétence du candidat est évaluée sur un ensemble de validation retenu à l’aide du modèle cible. Si le candidat améliore la note de validation, celle-ci est acceptée et devient la nouvelle compétence actuelle. En cas d’échec, les modifications sont rejetées et envoyées vers un tampon de modification rejetée, fournissant un retour négatif afin que l’optimiseur sache qu’il ne doit pas répéter cette erreur.
SkillOpt aborde directement le problème du traitement du texte comme un objet pouvant être entraîné en important des concepts mathématiques issus de l’apprentissage profond. Les créateurs notent que « l’analogie du deep learning est opérationnelle plutôt que décorative », aidant le framework à éviter les problèmes d’instabilité associés à d’autres techniques d’optimisation.
Le budget d’édition agit comme un taux d’apprentissage. En limitant le nombre de modifications pouvant être appliquées simultanément, on évite que la version de compétence ne s’éloigne trop de son état précédent, préservant ainsi la continuité tout en permettant l’acquisition de nouvelles procédures.
Tout comme la vérification de la perte de validation dans le deep learning, les exemples stricts retenus garantissent que les modifications de texte apparemment plausibles ne sont conservées que si elles améliorent mathématiquement les performances réelles de l’agent lors de la répartition de validation.
À la fin d’une époque, SkillOpt effectue une mise à jour lente en comparant les tâches des compétences de l’époque précédente et actuelle. Cela agit comme un terme d’élan, faisant avancer les leçons procédurales durables et à long terme tout en les isolant des modifications rapides et par étapes.
SkillOpt en action
Pour évaluer la technique dans la pratique, les chercheurs ont testé SkillOpt sur différents modèles, allant des modèles frontières à grande échelle comme GPT-5.5 aux plus petits modèles fermés et ouverts, notamment GPT-5.4-mini et Qwen3.5-4B. Ils ont également déployé leurs compétences au sein de différents harnais d’exécution, en utilisant le chat simple ainsi que des harnais de codage complexes comme le Codex CLI et Claude Code.
L’évaluation a porté sur diverses références de l’industrie, notamment la réponse à des questions en un seul tour, la génération de code à plusieurs tours impliquant l’utilisation d’outils et le raisonnement multimodal de documents. SkillOpt a été mesuré par rapport à plusieurs références allant d’un paramètre par défaut sans compétence aux compétences écrites par l’homme et aux compétences générées en une seule fois par LLM. Il a également été comparé à des méthodes avancées d’optimisation rapide et d’évolution des compétences, en particulier Trace2Skill, TextGrad, GEPA et EvoSkill.
SkillOpt a dominé dans tous les domaines, se révélant très efficace sur les 52 combinaisons évaluées de modèle, de référence et de harnais. Il s’est avéré particulièrement efficace avec les modèles frontières, offrant une amélioration absolue moyenne de +23,5 points par rapport à la référence sans compétence sur GPT-5.5. De plus, SkillOpt a surpassé une base de référence oracle hypothétique qui sélectionne la meilleure méthode concurrente pour chaque problème.
Les petits modèles cibles ont enregistré d’immenses gains relatifs, prouvant qu’un fichier texte compact peut fournir des connaissances procédurales qui manquent aux petits modèles en termes de poids. Par exemple, GPT-5.4-nano a presque doublé son score en matière d’assurance qualité des documents multimodaux et a triplé son score en matière d’interaction incarnée et de prise de décision séquentielle.
Ces références académiques correspondent aux problèmes critiques de l’entreprise. Les modèles Zero-shot hallucinent souvent lors du formatage ou ne parviennent pas à utiliser correctement les outils dans des scénarios en plusieurs étapes. Yang a expliqué que les gains de performance les plus importants se sont produits dans les opérations que les entreprises ont toujours eu du mal à automatiser de manière fiable.
«Extraction de données documentaires… chiffres exacts à partir de contrats, factures et formulaires – automatisation des comptes fournisseurs, réclamations, conformité», a déclaré Yang. «Ce qui s’améliore, c’est la fiabilité : un formatage précis, une auto-vérification, des résultats vérifiables. Et les gains proviennent de la procédure d’apprentissage, et non de la mémorisation des réponses.»
Pour les professionnels de l’entreprise, la véritable valeur de SkillOpt réside dans sa portabilité, son efficacité et sa compatibilité avec l’infrastructure existante. Les expériences confirment que le cadre est indépendant du harnais. En plus du chat de base, la même boucle d’optimisation a été intégrée avec succès dans des environnements d’exécution basés sur des outils tels que Codex CLI et Claude Code, avec des gains significatifs par rapport aux références du secteur.
Les développeurs peuvent former une compétence à l’aide d’une boucle d’exécution et la déployer dans une autre. Par exemple, une compétence de feuille de calcul entièrement formée dans la boucle Codex a été déplacée directement dans Claude Code et a généré un gain de +59,7 points par rapport à la base de référence native de Claude Code sans aucun autre changement.
Les artefacts SkillOpt sont également transférés proprement à travers les échelles du modèle. Une compétence optimisée pour GPT-5.4 a été déployée sur les plus petits modèles GPT-5.4-mini et GPT-5.4-nano avec des gains positifs, prouvant que les procédures apprises codent des flux de travail réutilisables plutôt que d’exploiter simplement les bizarreries de l’architecture d’un modèle spécifique.
Enfin, le cadre est très efficace en ce qui concerne l’utilisation des jetons et l’immobilier de la fenêtre contextuelle. Dans tous les benchmarks, les compétences finales déployées n’ont jamais dépassé 2 000 tokens, avec une longueur médiane d’environ 920 tokens. Il en résulte des artefacts hautement lisibles et vérifiables qu’un praticien humain peut examiner et gérer en quelques minutes.
Stratégies de mise en œuvre et « piège » de l’entreprise
Pour les responsables technologiques d’entreprise, l’adoption d’un nouveau cadre nécessite d’en comprendre les frais généraux et les limites. Bien que le document de recherche indique que les jetons de formation peuvent atteindre jusqu’à 210 millions pour les références académiques, la réalité des cas d’utilisation quotidienne en entreprise est beaucoup plus légère. Le nombre élevé de jetons lors des tests était en grande partie dû à la réévaluation d’ensembles de tests massifs retenus.
«Le véritable travail initial est le vérificateur et une division représentative. L’optimiseur est léger; le faisceau d’évaluation est l’endroit où va l’ingénierie», a déclaré Yang. Il a ajouté que pour une utilisation quotidienne, «dans des cadres communautaires comme GBrain, où les mises à jour SkillOpt s’exécutent sur Claude Sonnet, la formation d’une compétence pour une seule tâche ne coûte en moyenne que 1 à 5 dollars». Ce coût d’optimisation est un frais unique qui est entièrement amorti lors du déploiement.
Cependant, le cadre nécessite des conditions spécifiques pour fonctionner efficacement, à savoir quelques dizaines d’exemples représentatifs et un signal de retour notable. Les équipes doivent éviter d’appliquer SkillOpt à des tâches ouvertes ou subjectives. «En l’absence d’un évaluateur automatique propre, vous devez concevoir un évaluateur basé sur un humain ou un modèle et surveiller sa stabilité», a déclaré Yang.
SkillOpt s’intègre également facilement aux piles d’orchestration existantes, supprimant ainsi un obstacle majeur à l’adoption. Par exemple, les développeurs utilisant déjà des compilateurs de pipeline peuvent exécuter les deux systèmes de manière harmonieuse. «DSpy est une couche différente et complémentaire», a déclaré Yang. «Il compile les pipelines LM déclaratifs et optimise la structure du programme ; SkillOpt optimise l’état des compétences externes qu’un agent gelé charge. Vous pouvez les exécuter ensemble.»
Pour l’avenir, les développeurs open source planifient déjà SkillOpt pour qu’il s’exécute périodiquement sur les trajectoires passées de leurs agents, créant ainsi un petit écosystème de plugins d’agent de code auto-optimisés. Cette boucle de rétroaction continue représente un changement important dans la façon dont les systèmes d’IA s’adaptent.
« La version précieuse de l’auto-amélioration est qu’un agent découvre de manière autonome des connaissances pour améliorer son propre comportement et l’expérience utilisateur, sous vérification et audit », a déclaré Yang. «Les compétences constituent la première étape la plus rapide, la moins chère et la plus réversible, et le même état d’esprit incite les agents à s’optimiser eux-mêmes, jusqu’à atteindre leur propre poids.»
