La création de systèmes d’IA auto-améliorés constitue une étape importante vers le déploiement d’agents dans des environnements dynamiques, en particulier dans les environnements de production d’entreprise, où les tâches ne sont pas toujours prévisibles ni cohérentes.
Les systèmes d’IA auto-améliorés actuels sont confrontés à de sévères limitations car ils s’appuient sur des mécanismes d’amélioration fixes et fabriqués à la main qui ne fonctionnent que dans des conditions strictes telles que l’ingénierie logicielle.
Pour surmonter ce défi pratique, des chercheurs de Meta et de plusieurs universités ont introduit les « hyperagents », un système d’IA auto-amélioré qui réécrit et optimise en permanence sa logique de résolution de problèmes et le code sous-jacent.
En pratique, cela permet à l’IA de s’améliorer dans des domaines autres que le codage, tels que la robotique et la révision de documents. L’agent invente indépendamment des fonctionnalités à usage général telles que la mémoire persistante et le suivi automatisé des performances.
Plus largement, les hyperagents ne se contentent pas de mieux résoudre des tâches, ils apprennent également à améliorer le cycle d’auto-amélioration pour accélérer les progrès.
Ce cadre peut aider à développer des agents hautement adaptables qui construisent de manière autonome un mécanisme de décision structuré et réutilisable. Cette approche augmente les capacités au fil du temps avec moins de besoin d’ingénierie manuelle constante et de personnalisation humaine spécifique au domaine.
L’IA auto-améliorée actuelle et ses goulots d’étranglement architecturaux
L’objectif principal des systèmes d’IA auto-améliorés est d’améliorer continuellement leurs propres capacités d’apprentissage et de résolution de problèmes. Cependant, la plupart des modèles d’auto-amélioration existants reposent sur un « méta-agent » fixe. Ce système de supervision statique de haut niveau est conçu pour modifier un système de base.
«La principale limitation des méta-agents fabriqués à la main est qu’ils ne peuvent s’améliorer qu’à mesure que les humains peuvent les concevoir et les maintenir», a déclaré à VentureBeat Jenny Zhang, co-auteur de l’article. «Chaque fois que quelque chose change ou se brise, une personne doit intervenir et mettre à jour les règles ou la logique.»
Au lieu d’une limite théorique abstraite, cela crée un « mur de maintenance » pratique.
Le paradigme actuel lie directement l’amélioration du système à la vitesse d’itération humaine, ce qui ralentit les progrès car il repose fortement sur des efforts d’ingénierie manuels plutôt que sur une mise à l’échelle basée sur l’expérience collectée par les agents.
Pour surmonter cette limitation, les chercheurs affirment que le système d’IA doit être « entièrement autoréférentiel ». Ces systèmes doivent être capables d’analyser, d’évaluer et de réécrire n’importe quelle partie d’eux-mêmes sans les contraintes de leur configuration initiale. Cela permet au système d’IA de s’affranchir des limites structurelles et de s’auto-accélérer.
Un exemple de système d’IA autoréférentiel est la Darwin Gödel Machine (DGM) de Sakana AI, un système d’IA qui s’améliore en réécrivant son propre code.
Dans DGM, un agent génère, évalue et modifie de manière itérative son propre code, en enregistrant les variantes réussies dans une archive pour servir de tremplin pour de futures améliorations. DGM a prouvé qu’une auto-amélioration ouverte et récursive est pratiquement réalisable en matière de codage.
Cependant, le DGM n’est pas à la hauteur lorsqu’il est appliqué à des applications du monde réel en dehors du génie logiciel en raison d’un déficit de compétences critique. Dans DGM, le système s’améliore car l’évaluation et l’auto-modification sont des tâches de codage. Améliorer la capacité de codage de l’agent améliore naturellement sa capacité à réécrire son propre code. Mais si vous déployez DGM pour une tâche d’entreprise autre que le codage, cet alignement échoue.
« Pour des tâches telles que les mathématiques, la poésie ou la révision de documents, l’amélioration de la performance des tâches n’améliore pas nécessairement la capacité de l’agent à modifier son propre comportement », a déclaré Zhang.
Les compétences nécessaires pour analyser des textes subjectifs ou des données commerciales sont totalement différentes des compétences requises pour analyser les échecs et écrire du nouveau code Python pour les corriger.
DGM s’appuie également sur un mécanisme fixe conçu par l’homme pour générer ses instructions d’auto-amélioration. En pratique, si les développeurs d’entreprise souhaitent utiliser DGM pour autre chose que le codage, ils doivent fortement concevoir et personnaliser manuellement les invites d’instructions pour chaque nouveau domaine.
Le framework hyperagent
Pour surmonter les limites des architectures précédentes, les chercheurs introduisent des hyperagents. Le cadre propose «des agents autoréférentiels qui peuvent en principe s’auto-améliorer pour toute tâche calculable».
Dans ce cadre, un agent est tout programme calculable pouvant invoquer des LLM, des outils externes ou des composants appris. Traditionnellement, ces systèmes sont divisés en deux rôles distincts : un « agent de tâche » qui exécute le problème spécifique en question, et un « méta-agent » qui analyse et modifie les agents. Un hyperagent fusionne à la fois l’agent de tâche et le méta-agent en un seul programme autoréférentiel et modifiable.
Parce que le programme entier peut être réécrit, le système peut modifier le mécanisme d’auto-amélioration, un processus que les chercheurs appellent auto-modification métacognitive.
« Les hyperagents apprennent non seulement à mieux résoudre les tâches données, mais aussi à s’améliorer », a déclaré Zhang. «Au fil du temps, cela conduit à une accumulation. Les hyperagents n’ont pas besoin de redécouvrir comment s’améliorer dans chaque nouveau domaine. Au lieu de cela, ils conservent et s’appuient sur les améliorations apportées au processus d’auto-amélioration lui-même, permettant aux progrès de s’accumuler entre les tâches.»
Les chercheurs ont étendu la machine Darwin Gödel pour créer des hyperagents DGM (DGM-H). DGM-H conserve la puissante structure d’exploration ouverte du DGM d’origine, qui empêche l’IA de converger trop tôt ou de se retrouver coincée dans des impasses en conservant une archive croissante d’hyperagents performants.
Le système dérive en permanence des candidats sélectionnés dans ces archives, leur permet de s’auto-modifier, évalue les nouvelles variantes sur des tâches données et ajoute celles qui ont réussi dans le pool comme tremplins pour les itérations futures.
En combinant cette recherche évolutive ouverte avec l’auto-modification métacognitive, le DGM-H élimine l’étape d’instruction fixe et conçue par l’homme du DGM original. Cela permet à l’agent de s’améliorer dans n’importe quelle tâche calculable.
Les hyperagents en action
Les chercheurs ont utilisé le benchmark de codage Polyglot pour comparer le cadre hyperagent à l’IA précédente, réservée uniquement au codage. Ils ont également évalué les hyperagents dans des domaines non codants qui impliquent un raisonnement subjectif, l’utilisation d’outils externes et une logique complexe.
Celles-ci comprenaient une révision de documents pour simuler un évaluateur pair produisant des décisions d’acceptation ou de rejet, la conception d’un modèle de récompense pour la formation d’un robot quadrupède et une notation mathématique de niveau Olympiade. La notation mathématique servait de test pour voir si une IA qui avait appris à s’améliorer tout en révisant des articles et en concevant des robots pouvait transférer ces méta-compétences vers un domaine totalement inconnu.
Les chercheurs ont comparé les hyperagents à plusieurs références, y compris des modèles spécifiques à un domaine comme AI-Scientist-v2 pour les revues papier et ProofAutoGrader pour les mathématiques. Ils ont également testé le DGM classique et un DGM personnalisé manuellement pour les nouveaux domaines.
Sur le benchmark de codage, les hyperagents égalaient les performances du DGM bien qu’ils n’aient pas été conçus spécifiquement pour le codage. En matière de révision de documents et de robotique, les hyperagents ont surpassé les bases open source et les fonctions de récompense conçues par l’homme.
Lorsque les chercheurs ont utilisé un hyperagent optimisé pour la révision de documents et la robotique et l’ont déployé sur une tâche de notation mathématique inédite, ils ont obtenu une amélioration de 0,630 en 50 itérations. Les lignes de base reposant sur les architectures DGM classiques sont restées stables à 0,0. L’hyperagent a même battu le ProofAutoGrader spécifique au domaine.
Les expériences ont également mis en évidence des comportements autonomes intéressants de la part des hyperagents. Lors de l’évaluation sur papier, l’agent a d’abord utilisé des astuces standard d’ingénierie d’invite, comme adopter une personnalité rigoureuse. Lorsque cela s’est avéré peu fiable, l’entreprise a réécrit son propre code pour créer un pipeline d’évaluation en plusieurs étapes avec des listes de contrôle explicites et des règles de décision rigides, conduisant à une cohérence beaucoup plus élevée.
Les hyperagents ont également développé de manière autonome un outil de mémoire pour éviter de répéter les erreurs du passé. De plus, le système a écrit un outil de suivi des performances pour enregistrer et surveiller le résultat des changements architecturaux au fil des générations. Le modèle a même développé un comportement tenant compte du budget de calcul, dans lequel il suivait les itérations restantes pour ajuster sa planification. Les premières générations ont exécuté des changements architecturaux ambitieux, tandis que les générations suivantes se sont concentrées sur des raffinements conservateurs et progressifs.
Pour les équipes de données d’entreprise qui se demandent par où commencer, Zhang recommande de se concentrer sur les tâches dont le succès est sans ambiguïté. « Les flux de travail clairement spécifiés et faciles à évaluer, souvent appelés tâches vérifiables, constituent le meilleur point de départ », a-t-elle déclaré. « Cela ouvre généralement de nouvelles opportunités pour un prototypage plus exploratoire, une analyse de données plus exhaustive, des tests A/B plus exhaustifs, [and] une ingénierie de fonctionnalités plus rapide. Pour les tâches plus difficiles et non vérifiées, les équipes peuvent utiliser des hyperagents pour développer d’abord des juges érudits qui reflètent mieux les préférences humaines, créant ainsi un pont vers des domaines plus complexes.
Les chercheurs ont partagé le code des hyperagents, bien qu’il ait été publié sous une licence non commerciale.
Mises en garde et menaces futures
Les avantages des hyperagents introduisent des compromis évidents. Les chercheurs mettent en évidence plusieurs considérations de sécurité concernant les systèmes qui peuvent se modifier de manière de plus en plus ouverte.
Ces systèmes d’IA présentent le risque d’évoluer beaucoup plus rapidement que ce que les humains peuvent auditer ou interpréter. Alors que les chercheurs ont confiné le DGM-H dans des limites de sécurité telles que des environnements en bac à sable conçus pour éviter les effets secondaires involontaires, ces garanties initiales sont en réalité des plans de déploiement pratiques.
Zhang conseille aux développeurs de respecter les limites de ressources et de restreindre l’accès aux systèmes externes pendant la phase d’auto-modification. « Le principe clé est de séparer l’expérimentation du déploiement : permettre à l’agent d’explorer et de s’améliorer dans un bac à sable contrôlé, tout en garantissant que toutes les modifications affectant les systèmes réels sont soigneusement validées avant d’être appliquées », a-t-elle déclaré. Ce n’est qu’une fois que le code nouvellement modifié a réussi les contrôles d’exactitude définis par le développeur qu’il doit être promu vers un paramètre de production.
Un autre danger important réside dans les jeux d’évaluation, dans lesquels l’IA améliore ses mesures sans réaliser de réels progrès vers l’objectif réel visé. Parce que les hyperagents sont pilotés par des signaux d’évaluation empiriques, ils peuvent découvrir de manière autonome des stratégies qui exploitent les angles morts ou les faiblesses de la procédure d’évaluation elle-même pour gonfler artificiellement leurs scores. Pour prévenir ce comportement, les développeurs doivent mettre en œuvre des protocoles d’évaluation diversifiés, robustes et périodiquement actualisés, ainsi qu’une surveillance humaine continue.
À terme, ces systèmes modifieront les responsabilités quotidiennes des ingénieurs humains. Tout comme nous ne recalculons pas chaque opération effectuée par une calculatrice, les futurs ingénieurs en orchestration de l’IA n’écriront pas directement la logique d’amélioration, estime Zhang.
Au lieu de cela, ils concevront les mécanismes d’audit et de tests de résistance du système. « À mesure que les systèmes auto-améliorés deviennent plus performants, la question n’est plus seulement de savoir comment améliorer les performances, mais quels objectifs méritent d’être poursuivis », a déclaré Zhang. « En ce sens, le rôle évolue de la construction de systèmes à l’élaboration de leur orientation.
La création de systèmes d’IA auto-améliorés constitue une étape importante vers le déploiement d’agents dans des environnements dynamiques, en particulier dans les environnements de production d’entreprise, où les tâches ne sont pas toujours prévisibles ni cohérentes.
Les systèmes d’IA auto-améliorés actuels sont confrontés à de sévères limitations car ils s’appuient sur des mécanismes d’amélioration fixes et fabriqués à la main qui ne fonctionnent que dans des conditions strictes telles que l’ingénierie logicielle.
Pour surmonter ce défi pratique, des chercheurs de Meta et de plusieurs universités ont introduit les « hyperagents », un système d’IA auto-amélioré qui réécrit et optimise en permanence sa logique de résolution de problèmes et le code sous-jacent.
En pratique, cela permet à l’IA de s’améliorer dans des domaines autres que le codage, tels que la robotique et la révision de documents. L’agent invente indépendamment des fonctionnalités à usage général telles que la mémoire persistante et le suivi automatisé des performances.
Plus largement, les hyperagents ne se contentent pas de mieux résoudre des tâches, ils apprennent également à améliorer le cycle d’auto-amélioration pour accélérer les progrès.
Ce cadre peut aider à développer des agents hautement adaptables qui construisent de manière autonome un mécanisme de décision structuré et réutilisable. Cette approche augmente les capacités au fil du temps avec moins de besoin d’ingénierie manuelle constante et de personnalisation humaine spécifique au domaine.
L’IA auto-améliorée actuelle et ses goulots d’étranglement architecturaux
L’objectif principal des systèmes d’IA auto-améliorés est d’améliorer continuellement leurs propres capacités d’apprentissage et de résolution de problèmes. Cependant, la plupart des modèles d’auto-amélioration existants reposent sur un « méta-agent » fixe. Ce système de supervision statique de haut niveau est conçu pour modifier un système de base.
«La principale limitation des méta-agents fabriqués à la main est qu’ils ne peuvent s’améliorer qu’à mesure que les humains peuvent les concevoir et les maintenir», a déclaré à VentureBeat Jenny Zhang, co-auteur de l’article. «Chaque fois que quelque chose change ou se brise, une personne doit intervenir et mettre à jour les règles ou la logique.»
Au lieu d’une limite théorique abstraite, cela crée un « mur de maintenance » pratique.
Le paradigme actuel lie directement l’amélioration du système à la vitesse d’itération humaine, ce qui ralentit les progrès car il repose fortement sur des efforts d’ingénierie manuels plutôt que sur une mise à l’échelle basée sur l’expérience collectée par les agents.
Pour surmonter cette limitation, les chercheurs affirment que le système d’IA doit être « entièrement autoréférentiel ». Ces systèmes doivent être capables d’analyser, d’évaluer et de réécrire n’importe quelle partie d’eux-mêmes sans les contraintes de leur configuration initiale. Cela permet au système d’IA de s’affranchir des limites structurelles et de s’auto-accélérer.
Un exemple de système d’IA autoréférentiel est la Darwin Gödel Machine (DGM) de Sakana AI, un système d’IA qui s’améliore en réécrivant son propre code.
Dans DGM, un agent génère, évalue et modifie de manière itérative son propre code, en enregistrant les variantes réussies dans une archive pour servir de tremplin pour de futures améliorations. DGM a prouvé qu’une auto-amélioration ouverte et récursive est pratiquement réalisable en matière de codage.
Cependant, le DGM n’est pas à la hauteur lorsqu’il est appliqué à des applications du monde réel en dehors du génie logiciel en raison d’un déficit de compétences critique. Dans DGM, le système s’améliore car l’évaluation et l’auto-modification sont des tâches de codage. Améliorer la capacité de codage de l’agent améliore naturellement sa capacité à réécrire son propre code. Mais si vous déployez DGM pour une tâche d’entreprise autre que le codage, cet alignement échoue.
« Pour des tâches telles que les mathématiques, la poésie ou la révision de documents, l’amélioration de la performance des tâches n’améliore pas nécessairement la capacité de l’agent à modifier son propre comportement », a déclaré Zhang.
Les compétences nécessaires pour analyser des textes subjectifs ou des données commerciales sont totalement différentes des compétences requises pour analyser les échecs et écrire du nouveau code Python pour les corriger.
DGM s’appuie également sur un mécanisme fixe conçu par l’homme pour générer ses instructions d’auto-amélioration. En pratique, si les développeurs d’entreprise souhaitent utiliser DGM pour autre chose que le codage, ils doivent fortement concevoir et personnaliser manuellement les invites d’instructions pour chaque nouveau domaine.
Le framework hyperagent
Pour surmonter les limites des architectures précédentes, les chercheurs introduisent des hyperagents. Le cadre propose «des agents autoréférentiels qui peuvent en principe s’auto-améliorer pour toute tâche calculable».
Dans ce cadre, un agent est tout programme calculable pouvant invoquer des LLM, des outils externes ou des composants appris. Traditionnellement, ces systèmes sont divisés en deux rôles distincts : un « agent de tâche » qui exécute le problème spécifique en question, et un « méta-agent » qui analyse et modifie les agents. Un hyperagent fusionne à la fois l’agent de tâche et le méta-agent en un seul programme autoréférentiel et modifiable.
Parce que le programme entier peut être réécrit, le système peut modifier le mécanisme d’auto-amélioration, un processus que les chercheurs appellent auto-modification métacognitive.
« Les hyperagents apprennent non seulement à mieux résoudre les tâches données, mais aussi à s’améliorer », a déclaré Zhang. «Au fil du temps, cela conduit à une accumulation. Les hyperagents n’ont pas besoin de redécouvrir comment s’améliorer dans chaque nouveau domaine. Au lieu de cela, ils conservent et s’appuient sur les améliorations apportées au processus d’auto-amélioration lui-même, permettant aux progrès de s’accumuler entre les tâches.»
Les chercheurs ont étendu la machine Darwin Gödel pour créer des hyperagents DGM (DGM-H). DGM-H conserve la puissante structure d’exploration ouverte du DGM d’origine, qui empêche l’IA de converger trop tôt ou de se retrouver coincée dans des impasses en conservant une archive croissante d’hyperagents performants.
Le système dérive en permanence des candidats sélectionnés dans ces archives, leur permet de s’auto-modifier, évalue les nouvelles variantes sur des tâches données et ajoute celles qui ont réussi dans le pool comme tremplins pour les itérations futures.
En combinant cette recherche évolutive ouverte avec l’auto-modification métacognitive, le DGM-H élimine l’étape d’instruction fixe et conçue par l’homme du DGM original. Cela permet à l’agent de s’améliorer dans n’importe quelle tâche calculable.
Les hyperagents en action
Les chercheurs ont utilisé le benchmark de codage Polyglot pour comparer le cadre hyperagent à l’IA précédente, réservée uniquement au codage. Ils ont également évalué les hyperagents dans des domaines non codants qui impliquent un raisonnement subjectif, l’utilisation d’outils externes et une logique complexe.
Celles-ci comprenaient une révision de documents pour simuler un évaluateur pair produisant des décisions d’acceptation ou de rejet, la conception d’un modèle de récompense pour la formation d’un robot quadrupède et une notation mathématique de niveau Olympiade. La notation mathématique servait de test pour voir si une IA qui avait appris à s’améliorer tout en révisant des articles et en concevant des robots pouvait transférer ces méta-compétences vers un domaine totalement inconnu.
Les chercheurs ont comparé les hyperagents à plusieurs références, y compris des modèles spécifiques à un domaine comme AI-Scientist-v2 pour les revues papier et ProofAutoGrader pour les mathématiques. Ils ont également testé le DGM classique et un DGM personnalisé manuellement pour les nouveaux domaines.
Sur le benchmark de codage, les hyperagents égalaient les performances du DGM bien qu’ils n’aient pas été conçus spécifiquement pour le codage. En matière de révision de documents et de robotique, les hyperagents ont surpassé les bases open source et les fonctions de récompense conçues par l’homme.
Lorsque les chercheurs ont utilisé un hyperagent optimisé pour la révision de documents et la robotique et l’ont déployé sur une tâche de notation mathématique inédite, ils ont obtenu une amélioration de 0,630 en 50 itérations. Les lignes de base reposant sur les architectures DGM classiques sont restées stables à 0,0. L’hyperagent a même battu le ProofAutoGrader spécifique au domaine.
Les expériences ont également mis en évidence des comportements autonomes intéressants de la part des hyperagents. Lors de l’évaluation sur papier, l’agent a d’abord utilisé des astuces standard d’ingénierie d’invite, comme adopter une personnalité rigoureuse. Lorsque cela s’est avéré peu fiable, l’entreprise a réécrit son propre code pour créer un pipeline d’évaluation en plusieurs étapes avec des listes de contrôle explicites et des règles de décision rigides, conduisant à une cohérence beaucoup plus élevée.
Les hyperagents ont également développé de manière autonome un outil de mémoire pour éviter de répéter les erreurs du passé. De plus, le système a écrit un outil de suivi des performances pour enregistrer et surveiller le résultat des changements architecturaux au fil des générations. Le modèle a même développé un comportement tenant compte du budget de calcul, dans lequel il suivait les itérations restantes pour ajuster sa planification. Les premières générations ont exécuté des changements architecturaux ambitieux, tandis que les générations suivantes se sont concentrées sur des raffinements conservateurs et progressifs.
Pour les équipes de données d’entreprise qui se demandent par où commencer, Zhang recommande de se concentrer sur les tâches dont le succès est sans ambiguïté. « Les flux de travail clairement spécifiés et faciles à évaluer, souvent appelés tâches vérifiables, constituent le meilleur point de départ », a-t-elle déclaré. « Cela ouvre généralement de nouvelles opportunités pour un prototypage plus exploratoire, une analyse de données plus exhaustive, des tests A/B plus exhaustifs, [and] une ingénierie de fonctionnalités plus rapide. Pour les tâches plus difficiles et non vérifiées, les équipes peuvent utiliser des hyperagents pour développer d’abord des juges érudits qui reflètent mieux les préférences humaines, créant ainsi un pont vers des domaines plus complexes.
Les chercheurs ont partagé le code des hyperagents, bien qu’il ait été publié sous une licence non commerciale.
Mises en garde et menaces futures
Les avantages des hyperagents introduisent des compromis évidents. Les chercheurs mettent en évidence plusieurs considérations de sécurité concernant les systèmes qui peuvent se modifier de manière de plus en plus ouverte.
Ces systèmes d’IA présentent le risque d’évoluer beaucoup plus rapidement que ce que les humains peuvent auditer ou interpréter. Alors que les chercheurs ont confiné le DGM-H dans des limites de sécurité telles que des environnements en bac à sable conçus pour éviter les effets secondaires involontaires, ces garanties initiales sont en réalité des plans de déploiement pratiques.
Zhang conseille aux développeurs de respecter les limites de ressources et de restreindre l’accès aux systèmes externes pendant la phase d’auto-modification. « Le principe clé est de séparer l’expérimentation du déploiement : permettre à l’agent d’explorer et de s’améliorer dans un bac à sable contrôlé, tout en garantissant que toutes les modifications affectant les systèmes réels sont soigneusement validées avant d’être appliquées », a-t-elle déclaré. Ce n’est qu’une fois que le code nouvellement modifié a réussi les contrôles d’exactitude définis par le développeur qu’il doit être promu vers un paramètre de production.
Un autre danger important réside dans les jeux d’évaluation, dans lesquels l’IA améliore ses mesures sans réaliser de réels progrès vers l’objectif réel visé. Parce que les hyperagents sont pilotés par des signaux d’évaluation empiriques, ils peuvent découvrir de manière autonome des stratégies qui exploitent les angles morts ou les faiblesses de la procédure d’évaluation elle-même pour gonfler artificiellement leurs scores. Pour prévenir ce comportement, les développeurs doivent mettre en œuvre des protocoles d’évaluation diversifiés, robustes et périodiquement actualisés, ainsi qu’une surveillance humaine continue.
À terme, ces systèmes modifieront les responsabilités quotidiennes des ingénieurs humains. Tout comme nous ne recalculons pas chaque opération effectuée par une calculatrice, les futurs ingénieurs en orchestration de l’IA n’écriront pas directement la logique d’amélioration, estime Zhang.
Au lieu de cela, ils concevront les mécanismes d’audit et de tests de résistance du système. « À mesure que les systèmes auto-améliorés deviennent plus performants, la question n’est plus seulement de savoir comment améliorer les performances, mais quels objectifs méritent d’être poursuivis », a déclaré Zhang. « En ce sens, le rôle évolue de la construction de systèmes à l’élaboration de leur orientation.
La création de systèmes d’IA auto-améliorés constitue une étape importante vers le déploiement d’agents dans des environnements dynamiques, en particulier dans les environnements de production d’entreprise, où les tâches ne sont pas toujours prévisibles ni cohérentes.
Les systèmes d’IA auto-améliorés actuels sont confrontés à de sévères limitations car ils s’appuient sur des mécanismes d’amélioration fixes et fabriqués à la main qui ne fonctionnent que dans des conditions strictes telles que l’ingénierie logicielle.
Pour surmonter ce défi pratique, des chercheurs de Meta et de plusieurs universités ont introduit les « hyperagents », un système d’IA auto-amélioré qui réécrit et optimise en permanence sa logique de résolution de problèmes et le code sous-jacent.
En pratique, cela permet à l’IA de s’améliorer dans des domaines autres que le codage, tels que la robotique et la révision de documents. L’agent invente indépendamment des fonctionnalités à usage général telles que la mémoire persistante et le suivi automatisé des performances.
Plus largement, les hyperagents ne se contentent pas de mieux résoudre des tâches, ils apprennent également à améliorer le cycle d’auto-amélioration pour accélérer les progrès.
Ce cadre peut aider à développer des agents hautement adaptables qui construisent de manière autonome un mécanisme de décision structuré et réutilisable. Cette approche augmente les capacités au fil du temps avec moins de besoin d’ingénierie manuelle constante et de personnalisation humaine spécifique au domaine.
L’IA auto-améliorée actuelle et ses goulots d’étranglement architecturaux
L’objectif principal des systèmes d’IA auto-améliorés est d’améliorer continuellement leurs propres capacités d’apprentissage et de résolution de problèmes. Cependant, la plupart des modèles d’auto-amélioration existants reposent sur un « méta-agent » fixe. Ce système de supervision statique de haut niveau est conçu pour modifier un système de base.
«La principale limitation des méta-agents fabriqués à la main est qu’ils ne peuvent s’améliorer qu’à mesure que les humains peuvent les concevoir et les maintenir», a déclaré à VentureBeat Jenny Zhang, co-auteur de l’article. «Chaque fois que quelque chose change ou se brise, une personne doit intervenir et mettre à jour les règles ou la logique.»
Au lieu d’une limite théorique abstraite, cela crée un « mur de maintenance » pratique.
Le paradigme actuel lie directement l’amélioration du système à la vitesse d’itération humaine, ce qui ralentit les progrès car il repose fortement sur des efforts d’ingénierie manuels plutôt que sur une mise à l’échelle basée sur l’expérience collectée par les agents.
Pour surmonter cette limitation, les chercheurs affirment que le système d’IA doit être « entièrement autoréférentiel ». Ces systèmes doivent être capables d’analyser, d’évaluer et de réécrire n’importe quelle partie d’eux-mêmes sans les contraintes de leur configuration initiale. Cela permet au système d’IA de s’affranchir des limites structurelles et de s’auto-accélérer.
Un exemple de système d’IA autoréférentiel est la Darwin Gödel Machine (DGM) de Sakana AI, un système d’IA qui s’améliore en réécrivant son propre code.
Dans DGM, un agent génère, évalue et modifie de manière itérative son propre code, en enregistrant les variantes réussies dans une archive pour servir de tremplin pour de futures améliorations. DGM a prouvé qu’une auto-amélioration ouverte et récursive est pratiquement réalisable en matière de codage.
Cependant, le DGM n’est pas à la hauteur lorsqu’il est appliqué à des applications du monde réel en dehors du génie logiciel en raison d’un déficit de compétences critique. Dans DGM, le système s’améliore car l’évaluation et l’auto-modification sont des tâches de codage. Améliorer la capacité de codage de l’agent améliore naturellement sa capacité à réécrire son propre code. Mais si vous déployez DGM pour une tâche d’entreprise autre que le codage, cet alignement échoue.
« Pour des tâches telles que les mathématiques, la poésie ou la révision de documents, l’amélioration de la performance des tâches n’améliore pas nécessairement la capacité de l’agent à modifier son propre comportement », a déclaré Zhang.
Les compétences nécessaires pour analyser des textes subjectifs ou des données commerciales sont totalement différentes des compétences requises pour analyser les échecs et écrire du nouveau code Python pour les corriger.
DGM s’appuie également sur un mécanisme fixe conçu par l’homme pour générer ses instructions d’auto-amélioration. En pratique, si les développeurs d’entreprise souhaitent utiliser DGM pour autre chose que le codage, ils doivent fortement concevoir et personnaliser manuellement les invites d’instructions pour chaque nouveau domaine.
Le framework hyperagent
Pour surmonter les limites des architectures précédentes, les chercheurs introduisent des hyperagents. Le cadre propose «des agents autoréférentiels qui peuvent en principe s’auto-améliorer pour toute tâche calculable».
Dans ce cadre, un agent est tout programme calculable pouvant invoquer des LLM, des outils externes ou des composants appris. Traditionnellement, ces systèmes sont divisés en deux rôles distincts : un « agent de tâche » qui exécute le problème spécifique en question, et un « méta-agent » qui analyse et modifie les agents. Un hyperagent fusionne à la fois l’agent de tâche et le méta-agent en un seul programme autoréférentiel et modifiable.
Parce que le programme entier peut être réécrit, le système peut modifier le mécanisme d’auto-amélioration, un processus que les chercheurs appellent auto-modification métacognitive.
« Les hyperagents apprennent non seulement à mieux résoudre les tâches données, mais aussi à s’améliorer », a déclaré Zhang. «Au fil du temps, cela conduit à une accumulation. Les hyperagents n’ont pas besoin de redécouvrir comment s’améliorer dans chaque nouveau domaine. Au lieu de cela, ils conservent et s’appuient sur les améliorations apportées au processus d’auto-amélioration lui-même, permettant aux progrès de s’accumuler entre les tâches.»
Les chercheurs ont étendu la machine Darwin Gödel pour créer des hyperagents DGM (DGM-H). DGM-H conserve la puissante structure d’exploration ouverte du DGM d’origine, qui empêche l’IA de converger trop tôt ou de se retrouver coincée dans des impasses en conservant une archive croissante d’hyperagents performants.
Le système dérive en permanence des candidats sélectionnés dans ces archives, leur permet de s’auto-modifier, évalue les nouvelles variantes sur des tâches données et ajoute celles qui ont réussi dans le pool comme tremplins pour les itérations futures.
En combinant cette recherche évolutive ouverte avec l’auto-modification métacognitive, le DGM-H élimine l’étape d’instruction fixe et conçue par l’homme du DGM original. Cela permet à l’agent de s’améliorer dans n’importe quelle tâche calculable.
Les hyperagents en action
Les chercheurs ont utilisé le benchmark de codage Polyglot pour comparer le cadre hyperagent à l’IA précédente, réservée uniquement au codage. Ils ont également évalué les hyperagents dans des domaines non codants qui impliquent un raisonnement subjectif, l’utilisation d’outils externes et une logique complexe.
Celles-ci comprenaient une révision de documents pour simuler un évaluateur pair produisant des décisions d’acceptation ou de rejet, la conception d’un modèle de récompense pour la formation d’un robot quadrupède et une notation mathématique de niveau Olympiade. La notation mathématique servait de test pour voir si une IA qui avait appris à s’améliorer tout en révisant des articles et en concevant des robots pouvait transférer ces méta-compétences vers un domaine totalement inconnu.
Les chercheurs ont comparé les hyperagents à plusieurs références, y compris des modèles spécifiques à un domaine comme AI-Scientist-v2 pour les revues papier et ProofAutoGrader pour les mathématiques. Ils ont également testé le DGM classique et un DGM personnalisé manuellement pour les nouveaux domaines.
Sur le benchmark de codage, les hyperagents égalaient les performances du DGM bien qu’ils n’aient pas été conçus spécifiquement pour le codage. En matière de révision de documents et de robotique, les hyperagents ont surpassé les bases open source et les fonctions de récompense conçues par l’homme.
Lorsque les chercheurs ont utilisé un hyperagent optimisé pour la révision de documents et la robotique et l’ont déployé sur une tâche de notation mathématique inédite, ils ont obtenu une amélioration de 0,630 en 50 itérations. Les lignes de base reposant sur les architectures DGM classiques sont restées stables à 0,0. L’hyperagent a même battu le ProofAutoGrader spécifique au domaine.
Les expériences ont également mis en évidence des comportements autonomes intéressants de la part des hyperagents. Lors de l’évaluation sur papier, l’agent a d’abord utilisé des astuces standard d’ingénierie d’invite, comme adopter une personnalité rigoureuse. Lorsque cela s’est avéré peu fiable, l’entreprise a réécrit son propre code pour créer un pipeline d’évaluation en plusieurs étapes avec des listes de contrôle explicites et des règles de décision rigides, conduisant à une cohérence beaucoup plus élevée.
Les hyperagents ont également développé de manière autonome un outil de mémoire pour éviter de répéter les erreurs du passé. De plus, le système a écrit un outil de suivi des performances pour enregistrer et surveiller le résultat des changements architecturaux au fil des générations. Le modèle a même développé un comportement tenant compte du budget de calcul, dans lequel il suivait les itérations restantes pour ajuster sa planification. Les premières générations ont exécuté des changements architecturaux ambitieux, tandis que les générations suivantes se sont concentrées sur des raffinements conservateurs et progressifs.
Pour les équipes de données d’entreprise qui se demandent par où commencer, Zhang recommande de se concentrer sur les tâches dont le succès est sans ambiguïté. « Les flux de travail clairement spécifiés et faciles à évaluer, souvent appelés tâches vérifiables, constituent le meilleur point de départ », a-t-elle déclaré. « Cela ouvre généralement de nouvelles opportunités pour un prototypage plus exploratoire, une analyse de données plus exhaustive, des tests A/B plus exhaustifs, [and] une ingénierie de fonctionnalités plus rapide. Pour les tâches plus difficiles et non vérifiées, les équipes peuvent utiliser des hyperagents pour développer d’abord des juges érudits qui reflètent mieux les préférences humaines, créant ainsi un pont vers des domaines plus complexes.
Les chercheurs ont partagé le code des hyperagents, bien qu’il ait été publié sous une licence non commerciale.
Mises en garde et menaces futures
Les avantages des hyperagents introduisent des compromis évidents. Les chercheurs mettent en évidence plusieurs considérations de sécurité concernant les systèmes qui peuvent se modifier de manière de plus en plus ouverte.
Ces systèmes d’IA présentent le risque d’évoluer beaucoup plus rapidement que ce que les humains peuvent auditer ou interpréter. Alors que les chercheurs ont confiné le DGM-H dans des limites de sécurité telles que des environnements en bac à sable conçus pour éviter les effets secondaires involontaires, ces garanties initiales sont en réalité des plans de déploiement pratiques.
Zhang conseille aux développeurs de respecter les limites de ressources et de restreindre l’accès aux systèmes externes pendant la phase d’auto-modification. « Le principe clé est de séparer l’expérimentation du déploiement : permettre à l’agent d’explorer et de s’améliorer dans un bac à sable contrôlé, tout en garantissant que toutes les modifications affectant les systèmes réels sont soigneusement validées avant d’être appliquées », a-t-elle déclaré. Ce n’est qu’une fois que le code nouvellement modifié a réussi les contrôles d’exactitude définis par le développeur qu’il doit être promu vers un paramètre de production.
Un autre danger important réside dans les jeux d’évaluation, dans lesquels l’IA améliore ses mesures sans réaliser de réels progrès vers l’objectif réel visé. Parce que les hyperagents sont pilotés par des signaux d’évaluation empiriques, ils peuvent découvrir de manière autonome des stratégies qui exploitent les angles morts ou les faiblesses de la procédure d’évaluation elle-même pour gonfler artificiellement leurs scores. Pour prévenir ce comportement, les développeurs doivent mettre en œuvre des protocoles d’évaluation diversifiés, robustes et périodiquement actualisés, ainsi qu’une surveillance humaine continue.
À terme, ces systèmes modifieront les responsabilités quotidiennes des ingénieurs humains. Tout comme nous ne recalculons pas chaque opération effectuée par une calculatrice, les futurs ingénieurs en orchestration de l’IA n’écriront pas directement la logique d’amélioration, estime Zhang.
Au lieu de cela, ils concevront les mécanismes d’audit et de tests de résistance du système. « À mesure que les systèmes auto-améliorés deviennent plus performants, la question n’est plus seulement de savoir comment améliorer les performances, mais quels objectifs méritent d’être poursuivis », a déclaré Zhang. « En ce sens, le rôle évolue de la construction de systèmes à l’élaboration de leur orientation.
La création de systèmes d’IA auto-améliorés constitue une étape importante vers le déploiement d’agents dans des environnements dynamiques, en particulier dans les environnements de production d’entreprise, où les tâches ne sont pas toujours prévisibles ni cohérentes.
Les systèmes d’IA auto-améliorés actuels sont confrontés à de sévères limitations car ils s’appuient sur des mécanismes d’amélioration fixes et fabriqués à la main qui ne fonctionnent que dans des conditions strictes telles que l’ingénierie logicielle.
Pour surmonter ce défi pratique, des chercheurs de Meta et de plusieurs universités ont introduit les « hyperagents », un système d’IA auto-amélioré qui réécrit et optimise en permanence sa logique de résolution de problèmes et le code sous-jacent.
En pratique, cela permet à l’IA de s’améliorer dans des domaines autres que le codage, tels que la robotique et la révision de documents. L’agent invente indépendamment des fonctionnalités à usage général telles que la mémoire persistante et le suivi automatisé des performances.
Plus largement, les hyperagents ne se contentent pas de mieux résoudre des tâches, ils apprennent également à améliorer le cycle d’auto-amélioration pour accélérer les progrès.
Ce cadre peut aider à développer des agents hautement adaptables qui construisent de manière autonome un mécanisme de décision structuré et réutilisable. Cette approche augmente les capacités au fil du temps avec moins de besoin d’ingénierie manuelle constante et de personnalisation humaine spécifique au domaine.
L’IA auto-améliorée actuelle et ses goulots d’étranglement architecturaux
L’objectif principal des systèmes d’IA auto-améliorés est d’améliorer continuellement leurs propres capacités d’apprentissage et de résolution de problèmes. Cependant, la plupart des modèles d’auto-amélioration existants reposent sur un « méta-agent » fixe. Ce système de supervision statique de haut niveau est conçu pour modifier un système de base.
«La principale limitation des méta-agents fabriqués à la main est qu’ils ne peuvent s’améliorer qu’à mesure que les humains peuvent les concevoir et les maintenir», a déclaré à VentureBeat Jenny Zhang, co-auteur de l’article. «Chaque fois que quelque chose change ou se brise, une personne doit intervenir et mettre à jour les règles ou la logique.»
Au lieu d’une limite théorique abstraite, cela crée un « mur de maintenance » pratique.
Le paradigme actuel lie directement l’amélioration du système à la vitesse d’itération humaine, ce qui ralentit les progrès car il repose fortement sur des efforts d’ingénierie manuels plutôt que sur une mise à l’échelle basée sur l’expérience collectée par les agents.
Pour surmonter cette limitation, les chercheurs affirment que le système d’IA doit être « entièrement autoréférentiel ». Ces systèmes doivent être capables d’analyser, d’évaluer et de réécrire n’importe quelle partie d’eux-mêmes sans les contraintes de leur configuration initiale. Cela permet au système d’IA de s’affranchir des limites structurelles et de s’auto-accélérer.
Un exemple de système d’IA autoréférentiel est la Darwin Gödel Machine (DGM) de Sakana AI, un système d’IA qui s’améliore en réécrivant son propre code.
Dans DGM, un agent génère, évalue et modifie de manière itérative son propre code, en enregistrant les variantes réussies dans une archive pour servir de tremplin pour de futures améliorations. DGM a prouvé qu’une auto-amélioration ouverte et récursive est pratiquement réalisable en matière de codage.
Cependant, le DGM n’est pas à la hauteur lorsqu’il est appliqué à des applications du monde réel en dehors du génie logiciel en raison d’un déficit de compétences critique. Dans DGM, le système s’améliore car l’évaluation et l’auto-modification sont des tâches de codage. Améliorer la capacité de codage de l’agent améliore naturellement sa capacité à réécrire son propre code. Mais si vous déployez DGM pour une tâche d’entreprise autre que le codage, cet alignement échoue.
« Pour des tâches telles que les mathématiques, la poésie ou la révision de documents, l’amélioration de la performance des tâches n’améliore pas nécessairement la capacité de l’agent à modifier son propre comportement », a déclaré Zhang.
Les compétences nécessaires pour analyser des textes subjectifs ou des données commerciales sont totalement différentes des compétences requises pour analyser les échecs et écrire du nouveau code Python pour les corriger.
DGM s’appuie également sur un mécanisme fixe conçu par l’homme pour générer ses instructions d’auto-amélioration. En pratique, si les développeurs d’entreprise souhaitent utiliser DGM pour autre chose que le codage, ils doivent fortement concevoir et personnaliser manuellement les invites d’instructions pour chaque nouveau domaine.
Le framework hyperagent
Pour surmonter les limites des architectures précédentes, les chercheurs introduisent des hyperagents. Le cadre propose «des agents autoréférentiels qui peuvent en principe s’auto-améliorer pour toute tâche calculable».
Dans ce cadre, un agent est tout programme calculable pouvant invoquer des LLM, des outils externes ou des composants appris. Traditionnellement, ces systèmes sont divisés en deux rôles distincts : un « agent de tâche » qui exécute le problème spécifique en question, et un « méta-agent » qui analyse et modifie les agents. Un hyperagent fusionne à la fois l’agent de tâche et le méta-agent en un seul programme autoréférentiel et modifiable.
Parce que le programme entier peut être réécrit, le système peut modifier le mécanisme d’auto-amélioration, un processus que les chercheurs appellent auto-modification métacognitive.
« Les hyperagents apprennent non seulement à mieux résoudre les tâches données, mais aussi à s’améliorer », a déclaré Zhang. «Au fil du temps, cela conduit à une accumulation. Les hyperagents n’ont pas besoin de redécouvrir comment s’améliorer dans chaque nouveau domaine. Au lieu de cela, ils conservent et s’appuient sur les améliorations apportées au processus d’auto-amélioration lui-même, permettant aux progrès de s’accumuler entre les tâches.»
Les chercheurs ont étendu la machine Darwin Gödel pour créer des hyperagents DGM (DGM-H). DGM-H conserve la puissante structure d’exploration ouverte du DGM d’origine, qui empêche l’IA de converger trop tôt ou de se retrouver coincée dans des impasses en conservant une archive croissante d’hyperagents performants.
Le système dérive en permanence des candidats sélectionnés dans ces archives, leur permet de s’auto-modifier, évalue les nouvelles variantes sur des tâches données et ajoute celles qui ont réussi dans le pool comme tremplins pour les itérations futures.
En combinant cette recherche évolutive ouverte avec l’auto-modification métacognitive, le DGM-H élimine l’étape d’instruction fixe et conçue par l’homme du DGM original. Cela permet à l’agent de s’améliorer dans n’importe quelle tâche calculable.
Les hyperagents en action
Les chercheurs ont utilisé le benchmark de codage Polyglot pour comparer le cadre hyperagent à l’IA précédente, réservée uniquement au codage. Ils ont également évalué les hyperagents dans des domaines non codants qui impliquent un raisonnement subjectif, l’utilisation d’outils externes et une logique complexe.
Celles-ci comprenaient une révision de documents pour simuler un évaluateur pair produisant des décisions d’acceptation ou de rejet, la conception d’un modèle de récompense pour la formation d’un robot quadrupède et une notation mathématique de niveau Olympiade. La notation mathématique servait de test pour voir si une IA qui avait appris à s’améliorer tout en révisant des articles et en concevant des robots pouvait transférer ces méta-compétences vers un domaine totalement inconnu.
Les chercheurs ont comparé les hyperagents à plusieurs références, y compris des modèles spécifiques à un domaine comme AI-Scientist-v2 pour les revues papier et ProofAutoGrader pour les mathématiques. Ils ont également testé le DGM classique et un DGM personnalisé manuellement pour les nouveaux domaines.
Sur le benchmark de codage, les hyperagents égalaient les performances du DGM bien qu’ils n’aient pas été conçus spécifiquement pour le codage. En matière de révision de documents et de robotique, les hyperagents ont surpassé les bases open source et les fonctions de récompense conçues par l’homme.
Lorsque les chercheurs ont utilisé un hyperagent optimisé pour la révision de documents et la robotique et l’ont déployé sur une tâche de notation mathématique inédite, ils ont obtenu une amélioration de 0,630 en 50 itérations. Les lignes de base reposant sur les architectures DGM classiques sont restées stables à 0,0. L’hyperagent a même battu le ProofAutoGrader spécifique au domaine.
Les expériences ont également mis en évidence des comportements autonomes intéressants de la part des hyperagents. Lors de l’évaluation sur papier, l’agent a d’abord utilisé des astuces standard d’ingénierie d’invite, comme adopter une personnalité rigoureuse. Lorsque cela s’est avéré peu fiable, l’entreprise a réécrit son propre code pour créer un pipeline d’évaluation en plusieurs étapes avec des listes de contrôle explicites et des règles de décision rigides, conduisant à une cohérence beaucoup plus élevée.
Les hyperagents ont également développé de manière autonome un outil de mémoire pour éviter de répéter les erreurs du passé. De plus, le système a écrit un outil de suivi des performances pour enregistrer et surveiller le résultat des changements architecturaux au fil des générations. Le modèle a même développé un comportement tenant compte du budget de calcul, dans lequel il suivait les itérations restantes pour ajuster sa planification. Les premières générations ont exécuté des changements architecturaux ambitieux, tandis que les générations suivantes se sont concentrées sur des raffinements conservateurs et progressifs.
Pour les équipes de données d’entreprise qui se demandent par où commencer, Zhang recommande de se concentrer sur les tâches dont le succès est sans ambiguïté. « Les flux de travail clairement spécifiés et faciles à évaluer, souvent appelés tâches vérifiables, constituent le meilleur point de départ », a-t-elle déclaré. « Cela ouvre généralement de nouvelles opportunités pour un prototypage plus exploratoire, une analyse de données plus exhaustive, des tests A/B plus exhaustifs, [and] une ingénierie de fonctionnalités plus rapide. Pour les tâches plus difficiles et non vérifiées, les équipes peuvent utiliser des hyperagents pour développer d’abord des juges érudits qui reflètent mieux les préférences humaines, créant ainsi un pont vers des domaines plus complexes.
Les chercheurs ont partagé le code des hyperagents, bien qu’il ait été publié sous une licence non commerciale.
Mises en garde et menaces futures
Les avantages des hyperagents introduisent des compromis évidents. Les chercheurs mettent en évidence plusieurs considérations de sécurité concernant les systèmes qui peuvent se modifier de manière de plus en plus ouverte.
Ces systèmes d’IA présentent le risque d’évoluer beaucoup plus rapidement que ce que les humains peuvent auditer ou interpréter. Alors que les chercheurs ont confiné le DGM-H dans des limites de sécurité telles que des environnements en bac à sable conçus pour éviter les effets secondaires involontaires, ces garanties initiales sont en réalité des plans de déploiement pratiques.
Zhang conseille aux développeurs de respecter les limites de ressources et de restreindre l’accès aux systèmes externes pendant la phase d’auto-modification. « Le principe clé est de séparer l’expérimentation du déploiement : permettre à l’agent d’explorer et de s’améliorer dans un bac à sable contrôlé, tout en garantissant que toutes les modifications affectant les systèmes réels sont soigneusement validées avant d’être appliquées », a-t-elle déclaré. Ce n’est qu’une fois que le code nouvellement modifié a réussi les contrôles d’exactitude définis par le développeur qu’il doit être promu vers un paramètre de production.
Un autre danger important réside dans les jeux d’évaluation, dans lesquels l’IA améliore ses mesures sans réaliser de réels progrès vers l’objectif réel visé. Parce que les hyperagents sont pilotés par des signaux d’évaluation empiriques, ils peuvent découvrir de manière autonome des stratégies qui exploitent les angles morts ou les faiblesses de la procédure d’évaluation elle-même pour gonfler artificiellement leurs scores. Pour prévenir ce comportement, les développeurs doivent mettre en œuvre des protocoles d’évaluation diversifiés, robustes et périodiquement actualisés, ainsi qu’une surveillance humaine continue.
À terme, ces systèmes modifieront les responsabilités quotidiennes des ingénieurs humains. Tout comme nous ne recalculons pas chaque opération effectuée par une calculatrice, les futurs ingénieurs en orchestration de l’IA n’écriront pas directement la logique d’amélioration, estime Zhang.
Au lieu de cela, ils concevront les mécanismes d’audit et de tests de résistance du système. « À mesure que les systèmes auto-améliorés deviennent plus performants, la question n’est plus seulement de savoir comment améliorer les performances, mais quels objectifs méritent d’être poursuivis », a déclaré Zhang. « En ce sens, le rôle évolue de la construction de systèmes à l’élaboration de leur orientation.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
La création de systèmes d’IA auto-améliorés constitue une étape importante vers le déploiement d’agents dans des environnements dynamiques, en particulier dans les environnements de production d’entreprise, où les tâches ne sont pas toujours prévisibles ni cohérentes.
Les systèmes d’IA auto-améliorés actuels sont confrontés à de sévères limitations car ils s’appuient sur des mécanismes d’amélioration fixes et fabriqués à la main qui ne fonctionnent que dans des conditions strictes telles que l’ingénierie logicielle.
Pour surmonter ce défi pratique, des chercheurs de Meta et de plusieurs universités ont introduit les « hyperagents », un système d’IA auto-amélioré qui réécrit et optimise en permanence sa logique de résolution de problèmes et le code sous-jacent.
En pratique, cela permet à l’IA de s’améliorer dans des domaines autres que le codage, tels que la robotique et la révision de documents. L’agent invente indépendamment des fonctionnalités à usage général telles que la mémoire persistante et le suivi automatisé des performances.
Plus largement, les hyperagents ne se contentent pas de mieux résoudre des tâches, ils apprennent également à améliorer le cycle d’auto-amélioration pour accélérer les progrès.
Ce cadre peut aider à développer des agents hautement adaptables qui construisent de manière autonome un mécanisme de décision structuré et réutilisable. Cette approche augmente les capacités au fil du temps avec moins de besoin d’ingénierie manuelle constante et de personnalisation humaine spécifique au domaine.
L’IA auto-améliorée actuelle et ses goulots d’étranglement architecturaux
L’objectif principal des systèmes d’IA auto-améliorés est d’améliorer continuellement leurs propres capacités d’apprentissage et de résolution de problèmes. Cependant, la plupart des modèles d’auto-amélioration existants reposent sur un « méta-agent » fixe. Ce système de supervision statique de haut niveau est conçu pour modifier un système de base.
«La principale limitation des méta-agents fabriqués à la main est qu’ils ne peuvent s’améliorer qu’à mesure que les humains peuvent les concevoir et les maintenir», a déclaré à VentureBeat Jenny Zhang, co-auteur de l’article. «Chaque fois que quelque chose change ou se brise, une personne doit intervenir et mettre à jour les règles ou la logique.»
Au lieu d’une limite théorique abstraite, cela crée un « mur de maintenance » pratique.
Le paradigme actuel lie directement l’amélioration du système à la vitesse d’itération humaine, ce qui ralentit les progrès car il repose fortement sur des efforts d’ingénierie manuels plutôt que sur une mise à l’échelle basée sur l’expérience collectée par les agents.
Pour surmonter cette limitation, les chercheurs affirment que le système d’IA doit être « entièrement autoréférentiel ». Ces systèmes doivent être capables d’analyser, d’évaluer et de réécrire n’importe quelle partie d’eux-mêmes sans les contraintes de leur configuration initiale. Cela permet au système d’IA de s’affranchir des limites structurelles et de s’auto-accélérer.
Un exemple de système d’IA autoréférentiel est la Darwin Gödel Machine (DGM) de Sakana AI, un système d’IA qui s’améliore en réécrivant son propre code.
Dans DGM, un agent génère, évalue et modifie de manière itérative son propre code, en enregistrant les variantes réussies dans une archive pour servir de tremplin pour de futures améliorations. DGM a prouvé qu’une auto-amélioration ouverte et récursive est pratiquement réalisable en matière de codage.
Cependant, le DGM n’est pas à la hauteur lorsqu’il est appliqué à des applications du monde réel en dehors du génie logiciel en raison d’un déficit de compétences critique. Dans DGM, le système s’améliore car l’évaluation et l’auto-modification sont des tâches de codage. Améliorer la capacité de codage de l’agent améliore naturellement sa capacité à réécrire son propre code. Mais si vous déployez DGM pour une tâche d’entreprise autre que le codage, cet alignement échoue.
« Pour des tâches telles que les mathématiques, la poésie ou la révision de documents, l’amélioration de la performance des tâches n’améliore pas nécessairement la capacité de l’agent à modifier son propre comportement », a déclaré Zhang.
Les compétences nécessaires pour analyser des textes subjectifs ou des données commerciales sont totalement différentes des compétences requises pour analyser les échecs et écrire du nouveau code Python pour les corriger.
DGM s’appuie également sur un mécanisme fixe conçu par l’homme pour générer ses instructions d’auto-amélioration. En pratique, si les développeurs d’entreprise souhaitent utiliser DGM pour autre chose que le codage, ils doivent fortement concevoir et personnaliser manuellement les invites d’instructions pour chaque nouveau domaine.
Le framework hyperagent
Pour surmonter les limites des architectures précédentes, les chercheurs introduisent des hyperagents. Le cadre propose «des agents autoréférentiels qui peuvent en principe s’auto-améliorer pour toute tâche calculable».
Dans ce cadre, un agent est tout programme calculable pouvant invoquer des LLM, des outils externes ou des composants appris. Traditionnellement, ces systèmes sont divisés en deux rôles distincts : un « agent de tâche » qui exécute le problème spécifique en question, et un « méta-agent » qui analyse et modifie les agents. Un hyperagent fusionne à la fois l’agent de tâche et le méta-agent en un seul programme autoréférentiel et modifiable.
Parce que le programme entier peut être réécrit, le système peut modifier le mécanisme d’auto-amélioration, un processus que les chercheurs appellent auto-modification métacognitive.
« Les hyperagents apprennent non seulement à mieux résoudre les tâches données, mais aussi à s’améliorer », a déclaré Zhang. «Au fil du temps, cela conduit à une accumulation. Les hyperagents n’ont pas besoin de redécouvrir comment s’améliorer dans chaque nouveau domaine. Au lieu de cela, ils conservent et s’appuient sur les améliorations apportées au processus d’auto-amélioration lui-même, permettant aux progrès de s’accumuler entre les tâches.»
Les chercheurs ont étendu la machine Darwin Gödel pour créer des hyperagents DGM (DGM-H). DGM-H conserve la puissante structure d’exploration ouverte du DGM d’origine, qui empêche l’IA de converger trop tôt ou de se retrouver coincée dans des impasses en conservant une archive croissante d’hyperagents performants.
Le système dérive en permanence des candidats sélectionnés dans ces archives, leur permet de s’auto-modifier, évalue les nouvelles variantes sur des tâches données et ajoute celles qui ont réussi dans le pool comme tremplins pour les itérations futures.
En combinant cette recherche évolutive ouverte avec l’auto-modification métacognitive, le DGM-H élimine l’étape d’instruction fixe et conçue par l’homme du DGM original. Cela permet à l’agent de s’améliorer dans n’importe quelle tâche calculable.
Les hyperagents en action
Les chercheurs ont utilisé le benchmark de codage Polyglot pour comparer le cadre hyperagent à l’IA précédente, réservée uniquement au codage. Ils ont également évalué les hyperagents dans des domaines non codants qui impliquent un raisonnement subjectif, l’utilisation d’outils externes et une logique complexe.
Celles-ci comprenaient une révision de documents pour simuler un évaluateur pair produisant des décisions d’acceptation ou de rejet, la conception d’un modèle de récompense pour la formation d’un robot quadrupède et une notation mathématique de niveau Olympiade. La notation mathématique servait de test pour voir si une IA qui avait appris à s’améliorer tout en révisant des articles et en concevant des robots pouvait transférer ces méta-compétences vers un domaine totalement inconnu.
Les chercheurs ont comparé les hyperagents à plusieurs références, y compris des modèles spécifiques à un domaine comme AI-Scientist-v2 pour les revues papier et ProofAutoGrader pour les mathématiques. Ils ont également testé le DGM classique et un DGM personnalisé manuellement pour les nouveaux domaines.
Sur le benchmark de codage, les hyperagents égalaient les performances du DGM bien qu’ils n’aient pas été conçus spécifiquement pour le codage. En matière de révision de documents et de robotique, les hyperagents ont surpassé les bases open source et les fonctions de récompense conçues par l’homme.
Lorsque les chercheurs ont utilisé un hyperagent optimisé pour la révision de documents et la robotique et l’ont déployé sur une tâche de notation mathématique inédite, ils ont obtenu une amélioration de 0,630 en 50 itérations. Les lignes de base reposant sur les architectures DGM classiques sont restées stables à 0,0. L’hyperagent a même battu le ProofAutoGrader spécifique au domaine.
Les expériences ont également mis en évidence des comportements autonomes intéressants de la part des hyperagents. Lors de l’évaluation sur papier, l’agent a d’abord utilisé des astuces standard d’ingénierie d’invite, comme adopter une personnalité rigoureuse. Lorsque cela s’est avéré peu fiable, l’entreprise a réécrit son propre code pour créer un pipeline d’évaluation en plusieurs étapes avec des listes de contrôle explicites et des règles de décision rigides, conduisant à une cohérence beaucoup plus élevée.
Les hyperagents ont également développé de manière autonome un outil de mémoire pour éviter de répéter les erreurs du passé. De plus, le système a écrit un outil de suivi des performances pour enregistrer et surveiller le résultat des changements architecturaux au fil des générations. Le modèle a même développé un comportement tenant compte du budget de calcul, dans lequel il suivait les itérations restantes pour ajuster sa planification. Les premières générations ont exécuté des changements architecturaux ambitieux, tandis que les générations suivantes se sont concentrées sur des raffinements conservateurs et progressifs.
Pour les équipes de données d’entreprise qui se demandent par où commencer, Zhang recommande de se concentrer sur les tâches dont le succès est sans ambiguïté. « Les flux de travail clairement spécifiés et faciles à évaluer, souvent appelés tâches vérifiables, constituent le meilleur point de départ », a-t-elle déclaré. « Cela ouvre généralement de nouvelles opportunités pour un prototypage plus exploratoire, une analyse de données plus exhaustive, des tests A/B plus exhaustifs, [and] une ingénierie de fonctionnalités plus rapide. Pour les tâches plus difficiles et non vérifiées, les équipes peuvent utiliser des hyperagents pour développer d’abord des juges érudits qui reflètent mieux les préférences humaines, créant ainsi un pont vers des domaines plus complexes.
Les chercheurs ont partagé le code des hyperagents, bien qu’il ait été publié sous une licence non commerciale.
Mises en garde et menaces futures
Les avantages des hyperagents introduisent des compromis évidents. Les chercheurs mettent en évidence plusieurs considérations de sécurité concernant les systèmes qui peuvent se modifier de manière de plus en plus ouverte.
Ces systèmes d’IA présentent le risque d’évoluer beaucoup plus rapidement que ce que les humains peuvent auditer ou interpréter. Alors que les chercheurs ont confiné le DGM-H dans des limites de sécurité telles que des environnements en bac à sable conçus pour éviter les effets secondaires involontaires, ces garanties initiales sont en réalité des plans de déploiement pratiques.
Zhang conseille aux développeurs de respecter les limites de ressources et de restreindre l’accès aux systèmes externes pendant la phase d’auto-modification. « Le principe clé est de séparer l’expérimentation du déploiement : permettre à l’agent d’explorer et de s’améliorer dans un bac à sable contrôlé, tout en garantissant que toutes les modifications affectant les systèmes réels sont soigneusement validées avant d’être appliquées », a-t-elle déclaré. Ce n’est qu’une fois que le code nouvellement modifié a réussi les contrôles d’exactitude définis par le développeur qu’il doit être promu vers un paramètre de production.
Un autre danger important réside dans les jeux d’évaluation, dans lesquels l’IA améliore ses mesures sans réaliser de réels progrès vers l’objectif réel visé. Parce que les hyperagents sont pilotés par des signaux d’évaluation empiriques, ils peuvent découvrir de manière autonome des stratégies qui exploitent les angles morts ou les faiblesses de la procédure d’évaluation elle-même pour gonfler artificiellement leurs scores. Pour prévenir ce comportement, les développeurs doivent mettre en œuvre des protocoles d’évaluation diversifiés, robustes et périodiquement actualisés, ainsi qu’une surveillance humaine continue.
À terme, ces systèmes modifieront les responsabilités quotidiennes des ingénieurs humains. Tout comme nous ne recalculons pas chaque opération effectuée par une calculatrice, les futurs ingénieurs en orchestration de l’IA n’écriront pas directement la logique d’amélioration, estime Zhang.
Au lieu de cela, ils concevront les mécanismes d’audit et de tests de résistance du système. « À mesure que les systèmes auto-améliorés deviennent plus performants, la question n’est plus seulement de savoir comment améliorer les performances, mais quels objectifs méritent d’être poursuivis », a déclaré Zhang. « En ce sens, le rôle évolue de la construction de systèmes à l’élaboration de leur orientation.
La création de systèmes d’IA auto-améliorés constitue une étape importante vers le déploiement d’agents dans des environnements dynamiques, en particulier dans les environnements de production d’entreprise, où les tâches ne sont pas toujours prévisibles ni cohérentes.
Les systèmes d’IA auto-améliorés actuels sont confrontés à de sévères limitations car ils s’appuient sur des mécanismes d’amélioration fixes et fabriqués à la main qui ne fonctionnent que dans des conditions strictes telles que l’ingénierie logicielle.
Pour surmonter ce défi pratique, des chercheurs de Meta et de plusieurs universités ont introduit les « hyperagents », un système d’IA auto-amélioré qui réécrit et optimise en permanence sa logique de résolution de problèmes et le code sous-jacent.
En pratique, cela permet à l’IA de s’améliorer dans des domaines autres que le codage, tels que la robotique et la révision de documents. L’agent invente indépendamment des fonctionnalités à usage général telles que la mémoire persistante et le suivi automatisé des performances.
Plus largement, les hyperagents ne se contentent pas de mieux résoudre des tâches, ils apprennent également à améliorer le cycle d’auto-amélioration pour accélérer les progrès.
Ce cadre peut aider à développer des agents hautement adaptables qui construisent de manière autonome un mécanisme de décision structuré et réutilisable. Cette approche augmente les capacités au fil du temps avec moins de besoin d’ingénierie manuelle constante et de personnalisation humaine spécifique au domaine.
L’IA auto-améliorée actuelle et ses goulots d’étranglement architecturaux
L’objectif principal des systèmes d’IA auto-améliorés est d’améliorer continuellement leurs propres capacités d’apprentissage et de résolution de problèmes. Cependant, la plupart des modèles d’auto-amélioration existants reposent sur un « méta-agent » fixe. Ce système de supervision statique de haut niveau est conçu pour modifier un système de base.
«La principale limitation des méta-agents fabriqués à la main est qu’ils ne peuvent s’améliorer qu’à mesure que les humains peuvent les concevoir et les maintenir», a déclaré à VentureBeat Jenny Zhang, co-auteur de l’article. «Chaque fois que quelque chose change ou se brise, une personne doit intervenir et mettre à jour les règles ou la logique.»
Au lieu d’une limite théorique abstraite, cela crée un « mur de maintenance » pratique.
Le paradigme actuel lie directement l’amélioration du système à la vitesse d’itération humaine, ce qui ralentit les progrès car il repose fortement sur des efforts d’ingénierie manuels plutôt que sur une mise à l’échelle basée sur l’expérience collectée par les agents.
Pour surmonter cette limitation, les chercheurs affirment que le système d’IA doit être « entièrement autoréférentiel ». Ces systèmes doivent être capables d’analyser, d’évaluer et de réécrire n’importe quelle partie d’eux-mêmes sans les contraintes de leur configuration initiale. Cela permet au système d’IA de s’affranchir des limites structurelles et de s’auto-accélérer.
Un exemple de système d’IA autoréférentiel est la Darwin Gödel Machine (DGM) de Sakana AI, un système d’IA qui s’améliore en réécrivant son propre code.
Dans DGM, un agent génère, évalue et modifie de manière itérative son propre code, en enregistrant les variantes réussies dans une archive pour servir de tremplin pour de futures améliorations. DGM a prouvé qu’une auto-amélioration ouverte et récursive est pratiquement réalisable en matière de codage.
Cependant, le DGM n’est pas à la hauteur lorsqu’il est appliqué à des applications du monde réel en dehors du génie logiciel en raison d’un déficit de compétences critique. Dans DGM, le système s’améliore car l’évaluation et l’auto-modification sont des tâches de codage. Améliorer la capacité de codage de l’agent améliore naturellement sa capacité à réécrire son propre code. Mais si vous déployez DGM pour une tâche d’entreprise autre que le codage, cet alignement échoue.
« Pour des tâches telles que les mathématiques, la poésie ou la révision de documents, l’amélioration de la performance des tâches n’améliore pas nécessairement la capacité de l’agent à modifier son propre comportement », a déclaré Zhang.
Les compétences nécessaires pour analyser des textes subjectifs ou des données commerciales sont totalement différentes des compétences requises pour analyser les échecs et écrire du nouveau code Python pour les corriger.
DGM s’appuie également sur un mécanisme fixe conçu par l’homme pour générer ses instructions d’auto-amélioration. En pratique, si les développeurs d’entreprise souhaitent utiliser DGM pour autre chose que le codage, ils doivent fortement concevoir et personnaliser manuellement les invites d’instructions pour chaque nouveau domaine.
Le framework hyperagent
Pour surmonter les limites des architectures précédentes, les chercheurs introduisent des hyperagents. Le cadre propose «des agents autoréférentiels qui peuvent en principe s’auto-améliorer pour toute tâche calculable».
Dans ce cadre, un agent est tout programme calculable pouvant invoquer des LLM, des outils externes ou des composants appris. Traditionnellement, ces systèmes sont divisés en deux rôles distincts : un « agent de tâche » qui exécute le problème spécifique en question, et un « méta-agent » qui analyse et modifie les agents. Un hyperagent fusionne à la fois l’agent de tâche et le méta-agent en un seul programme autoréférentiel et modifiable.
Parce que le programme entier peut être réécrit, le système peut modifier le mécanisme d’auto-amélioration, un processus que les chercheurs appellent auto-modification métacognitive.
« Les hyperagents apprennent non seulement à mieux résoudre les tâches données, mais aussi à s’améliorer », a déclaré Zhang. «Au fil du temps, cela conduit à une accumulation. Les hyperagents n’ont pas besoin de redécouvrir comment s’améliorer dans chaque nouveau domaine. Au lieu de cela, ils conservent et s’appuient sur les améliorations apportées au processus d’auto-amélioration lui-même, permettant aux progrès de s’accumuler entre les tâches.»
Les chercheurs ont étendu la machine Darwin Gödel pour créer des hyperagents DGM (DGM-H). DGM-H conserve la puissante structure d’exploration ouverte du DGM d’origine, qui empêche l’IA de converger trop tôt ou de se retrouver coincée dans des impasses en conservant une archive croissante d’hyperagents performants.
Le système dérive en permanence des candidats sélectionnés dans ces archives, leur permet de s’auto-modifier, évalue les nouvelles variantes sur des tâches données et ajoute celles qui ont réussi dans le pool comme tremplins pour les itérations futures.
En combinant cette recherche évolutive ouverte avec l’auto-modification métacognitive, le DGM-H élimine l’étape d’instruction fixe et conçue par l’homme du DGM original. Cela permet à l’agent de s’améliorer dans n’importe quelle tâche calculable.
Les hyperagents en action
Les chercheurs ont utilisé le benchmark de codage Polyglot pour comparer le cadre hyperagent à l’IA précédente, réservée uniquement au codage. Ils ont également évalué les hyperagents dans des domaines non codants qui impliquent un raisonnement subjectif, l’utilisation d’outils externes et une logique complexe.
Celles-ci comprenaient une révision de documents pour simuler un évaluateur pair produisant des décisions d’acceptation ou de rejet, la conception d’un modèle de récompense pour la formation d’un robot quadrupède et une notation mathématique de niveau Olympiade. La notation mathématique servait de test pour voir si une IA qui avait appris à s’améliorer tout en révisant des articles et en concevant des robots pouvait transférer ces méta-compétences vers un domaine totalement inconnu.
Les chercheurs ont comparé les hyperagents à plusieurs références, y compris des modèles spécifiques à un domaine comme AI-Scientist-v2 pour les revues papier et ProofAutoGrader pour les mathématiques. Ils ont également testé le DGM classique et un DGM personnalisé manuellement pour les nouveaux domaines.
Sur le benchmark de codage, les hyperagents égalaient les performances du DGM bien qu’ils n’aient pas été conçus spécifiquement pour le codage. En matière de révision de documents et de robotique, les hyperagents ont surpassé les bases open source et les fonctions de récompense conçues par l’homme.
Lorsque les chercheurs ont utilisé un hyperagent optimisé pour la révision de documents et la robotique et l’ont déployé sur une tâche de notation mathématique inédite, ils ont obtenu une amélioration de 0,630 en 50 itérations. Les lignes de base reposant sur les architectures DGM classiques sont restées stables à 0,0. L’hyperagent a même battu le ProofAutoGrader spécifique au domaine.
Les expériences ont également mis en évidence des comportements autonomes intéressants de la part des hyperagents. Lors de l’évaluation sur papier, l’agent a d’abord utilisé des astuces standard d’ingénierie d’invite, comme adopter une personnalité rigoureuse. Lorsque cela s’est avéré peu fiable, l’entreprise a réécrit son propre code pour créer un pipeline d’évaluation en plusieurs étapes avec des listes de contrôle explicites et des règles de décision rigides, conduisant à une cohérence beaucoup plus élevée.
Les hyperagents ont également développé de manière autonome un outil de mémoire pour éviter de répéter les erreurs du passé. De plus, le système a écrit un outil de suivi des performances pour enregistrer et surveiller le résultat des changements architecturaux au fil des générations. Le modèle a même développé un comportement tenant compte du budget de calcul, dans lequel il suivait les itérations restantes pour ajuster sa planification. Les premières générations ont exécuté des changements architecturaux ambitieux, tandis que les générations suivantes se sont concentrées sur des raffinements conservateurs et progressifs.
Pour les équipes de données d’entreprise qui se demandent par où commencer, Zhang recommande de se concentrer sur les tâches dont le succès est sans ambiguïté. « Les flux de travail clairement spécifiés et faciles à évaluer, souvent appelés tâches vérifiables, constituent le meilleur point de départ », a-t-elle déclaré. « Cela ouvre généralement de nouvelles opportunités pour un prototypage plus exploratoire, une analyse de données plus exhaustive, des tests A/B plus exhaustifs, [and] une ingénierie de fonctionnalités plus rapide. Pour les tâches plus difficiles et non vérifiées, les équipes peuvent utiliser des hyperagents pour développer d’abord des juges érudits qui reflètent mieux les préférences humaines, créant ainsi un pont vers des domaines plus complexes.
Les chercheurs ont partagé le code des hyperagents, bien qu’il ait été publié sous une licence non commerciale.
Mises en garde et menaces futures
Les avantages des hyperagents introduisent des compromis évidents. Les chercheurs mettent en évidence plusieurs considérations de sécurité concernant les systèmes qui peuvent se modifier de manière de plus en plus ouverte.
Ces systèmes d’IA présentent le risque d’évoluer beaucoup plus rapidement que ce que les humains peuvent auditer ou interpréter. Alors que les chercheurs ont confiné le DGM-H dans des limites de sécurité telles que des environnements en bac à sable conçus pour éviter les effets secondaires involontaires, ces garanties initiales sont en réalité des plans de déploiement pratiques.
Zhang conseille aux développeurs de respecter les limites de ressources et de restreindre l’accès aux systèmes externes pendant la phase d’auto-modification. « Le principe clé est de séparer l’expérimentation du déploiement : permettre à l’agent d’explorer et de s’améliorer dans un bac à sable contrôlé, tout en garantissant que toutes les modifications affectant les systèmes réels sont soigneusement validées avant d’être appliquées », a-t-elle déclaré. Ce n’est qu’une fois que le code nouvellement modifié a réussi les contrôles d’exactitude définis par le développeur qu’il doit être promu vers un paramètre de production.
Un autre danger important réside dans les jeux d’évaluation, dans lesquels l’IA améliore ses mesures sans réaliser de réels progrès vers l’objectif réel visé. Parce que les hyperagents sont pilotés par des signaux d’évaluation empiriques, ils peuvent découvrir de manière autonome des stratégies qui exploitent les angles morts ou les faiblesses de la procédure d’évaluation elle-même pour gonfler artificiellement leurs scores. Pour prévenir ce comportement, les développeurs doivent mettre en œuvre des protocoles d’évaluation diversifiés, robustes et périodiquement actualisés, ainsi qu’une surveillance humaine continue.
À terme, ces systèmes modifieront les responsabilités quotidiennes des ingénieurs humains. Tout comme nous ne recalculons pas chaque opération effectuée par une calculatrice, les futurs ingénieurs en orchestration de l’IA n’écriront pas directement la logique d’amélioration, estime Zhang.
Au lieu de cela, ils concevront les mécanismes d’audit et de tests de résistance du système. « À mesure que les systèmes auto-améliorés deviennent plus performants, la question n’est plus seulement de savoir comment améliorer les performances, mais quels objectifs méritent d’être poursuivis », a déclaré Zhang. « En ce sens, le rôle évolue de la construction de systèmes à l’élaboration de leur orientation.
La création de systèmes d’IA auto-améliorés constitue une étape importante vers le déploiement d’agents dans des environnements dynamiques, en particulier dans les environnements de production d’entreprise, où les tâches ne sont pas toujours prévisibles ni cohérentes.
Les systèmes d’IA auto-améliorés actuels sont confrontés à de sévères limitations car ils s’appuient sur des mécanismes d’amélioration fixes et fabriqués à la main qui ne fonctionnent que dans des conditions strictes telles que l’ingénierie logicielle.
Pour surmonter ce défi pratique, des chercheurs de Meta et de plusieurs universités ont introduit les « hyperagents », un système d’IA auto-amélioré qui réécrit et optimise en permanence sa logique de résolution de problèmes et le code sous-jacent.
En pratique, cela permet à l’IA de s’améliorer dans des domaines autres que le codage, tels que la robotique et la révision de documents. L’agent invente indépendamment des fonctionnalités à usage général telles que la mémoire persistante et le suivi automatisé des performances.
Plus largement, les hyperagents ne se contentent pas de mieux résoudre des tâches, ils apprennent également à améliorer le cycle d’auto-amélioration pour accélérer les progrès.
Ce cadre peut aider à développer des agents hautement adaptables qui construisent de manière autonome un mécanisme de décision structuré et réutilisable. Cette approche augmente les capacités au fil du temps avec moins de besoin d’ingénierie manuelle constante et de personnalisation humaine spécifique au domaine.
L’IA auto-améliorée actuelle et ses goulots d’étranglement architecturaux
L’objectif principal des systèmes d’IA auto-améliorés est d’améliorer continuellement leurs propres capacités d’apprentissage et de résolution de problèmes. Cependant, la plupart des modèles d’auto-amélioration existants reposent sur un « méta-agent » fixe. Ce système de supervision statique de haut niveau est conçu pour modifier un système de base.
«La principale limitation des méta-agents fabriqués à la main est qu’ils ne peuvent s’améliorer qu’à mesure que les humains peuvent les concevoir et les maintenir», a déclaré à VentureBeat Jenny Zhang, co-auteur de l’article. «Chaque fois que quelque chose change ou se brise, une personne doit intervenir et mettre à jour les règles ou la logique.»
Au lieu d’une limite théorique abstraite, cela crée un « mur de maintenance » pratique.
Le paradigme actuel lie directement l’amélioration du système à la vitesse d’itération humaine, ce qui ralentit les progrès car il repose fortement sur des efforts d’ingénierie manuels plutôt que sur une mise à l’échelle basée sur l’expérience collectée par les agents.
Pour surmonter cette limitation, les chercheurs affirment que le système d’IA doit être « entièrement autoréférentiel ». Ces systèmes doivent être capables d’analyser, d’évaluer et de réécrire n’importe quelle partie d’eux-mêmes sans les contraintes de leur configuration initiale. Cela permet au système d’IA de s’affranchir des limites structurelles et de s’auto-accélérer.
Un exemple de système d’IA autoréférentiel est la Darwin Gödel Machine (DGM) de Sakana AI, un système d’IA qui s’améliore en réécrivant son propre code.
Dans DGM, un agent génère, évalue et modifie de manière itérative son propre code, en enregistrant les variantes réussies dans une archive pour servir de tremplin pour de futures améliorations. DGM a prouvé qu’une auto-amélioration ouverte et récursive est pratiquement réalisable en matière de codage.
Cependant, le DGM n’est pas à la hauteur lorsqu’il est appliqué à des applications du monde réel en dehors du génie logiciel en raison d’un déficit de compétences critique. Dans DGM, le système s’améliore car l’évaluation et l’auto-modification sont des tâches de codage. Améliorer la capacité de codage de l’agent améliore naturellement sa capacité à réécrire son propre code. Mais si vous déployez DGM pour une tâche d’entreprise autre que le codage, cet alignement échoue.
« Pour des tâches telles que les mathématiques, la poésie ou la révision de documents, l’amélioration de la performance des tâches n’améliore pas nécessairement la capacité de l’agent à modifier son propre comportement », a déclaré Zhang.
Les compétences nécessaires pour analyser des textes subjectifs ou des données commerciales sont totalement différentes des compétences requises pour analyser les échecs et écrire du nouveau code Python pour les corriger.
DGM s’appuie également sur un mécanisme fixe conçu par l’homme pour générer ses instructions d’auto-amélioration. En pratique, si les développeurs d’entreprise souhaitent utiliser DGM pour autre chose que le codage, ils doivent fortement concevoir et personnaliser manuellement les invites d’instructions pour chaque nouveau domaine.
Le framework hyperagent
Pour surmonter les limites des architectures précédentes, les chercheurs introduisent des hyperagents. Le cadre propose «des agents autoréférentiels qui peuvent en principe s’auto-améliorer pour toute tâche calculable».
Dans ce cadre, un agent est tout programme calculable pouvant invoquer des LLM, des outils externes ou des composants appris. Traditionnellement, ces systèmes sont divisés en deux rôles distincts : un « agent de tâche » qui exécute le problème spécifique en question, et un « méta-agent » qui analyse et modifie les agents. Un hyperagent fusionne à la fois l’agent de tâche et le méta-agent en un seul programme autoréférentiel et modifiable.
Parce que le programme entier peut être réécrit, le système peut modifier le mécanisme d’auto-amélioration, un processus que les chercheurs appellent auto-modification métacognitive.
« Les hyperagents apprennent non seulement à mieux résoudre les tâches données, mais aussi à s’améliorer », a déclaré Zhang. «Au fil du temps, cela conduit à une accumulation. Les hyperagents n’ont pas besoin de redécouvrir comment s’améliorer dans chaque nouveau domaine. Au lieu de cela, ils conservent et s’appuient sur les améliorations apportées au processus d’auto-amélioration lui-même, permettant aux progrès de s’accumuler entre les tâches.»
Les chercheurs ont étendu la machine Darwin Gödel pour créer des hyperagents DGM (DGM-H). DGM-H conserve la puissante structure d’exploration ouverte du DGM d’origine, qui empêche l’IA de converger trop tôt ou de se retrouver coincée dans des impasses en conservant une archive croissante d’hyperagents performants.
Le système dérive en permanence des candidats sélectionnés dans ces archives, leur permet de s’auto-modifier, évalue les nouvelles variantes sur des tâches données et ajoute celles qui ont réussi dans le pool comme tremplins pour les itérations futures.
En combinant cette recherche évolutive ouverte avec l’auto-modification métacognitive, le DGM-H élimine l’étape d’instruction fixe et conçue par l’homme du DGM original. Cela permet à l’agent de s’améliorer dans n’importe quelle tâche calculable.
Les hyperagents en action
Les chercheurs ont utilisé le benchmark de codage Polyglot pour comparer le cadre hyperagent à l’IA précédente, réservée uniquement au codage. Ils ont également évalué les hyperagents dans des domaines non codants qui impliquent un raisonnement subjectif, l’utilisation d’outils externes et une logique complexe.
Celles-ci comprenaient une révision de documents pour simuler un évaluateur pair produisant des décisions d’acceptation ou de rejet, la conception d’un modèle de récompense pour la formation d’un robot quadrupède et une notation mathématique de niveau Olympiade. La notation mathématique servait de test pour voir si une IA qui avait appris à s’améliorer tout en révisant des articles et en concevant des robots pouvait transférer ces méta-compétences vers un domaine totalement inconnu.
Les chercheurs ont comparé les hyperagents à plusieurs références, y compris des modèles spécifiques à un domaine comme AI-Scientist-v2 pour les revues papier et ProofAutoGrader pour les mathématiques. Ils ont également testé le DGM classique et un DGM personnalisé manuellement pour les nouveaux domaines.
Sur le benchmark de codage, les hyperagents égalaient les performances du DGM bien qu’ils n’aient pas été conçus spécifiquement pour le codage. En matière de révision de documents et de robotique, les hyperagents ont surpassé les bases open source et les fonctions de récompense conçues par l’homme.
Lorsque les chercheurs ont utilisé un hyperagent optimisé pour la révision de documents et la robotique et l’ont déployé sur une tâche de notation mathématique inédite, ils ont obtenu une amélioration de 0,630 en 50 itérations. Les lignes de base reposant sur les architectures DGM classiques sont restées stables à 0,0. L’hyperagent a même battu le ProofAutoGrader spécifique au domaine.
Les expériences ont également mis en évidence des comportements autonomes intéressants de la part des hyperagents. Lors de l’évaluation sur papier, l’agent a d’abord utilisé des astuces standard d’ingénierie d’invite, comme adopter une personnalité rigoureuse. Lorsque cela s’est avéré peu fiable, l’entreprise a réécrit son propre code pour créer un pipeline d’évaluation en plusieurs étapes avec des listes de contrôle explicites et des règles de décision rigides, conduisant à une cohérence beaucoup plus élevée.
Les hyperagents ont également développé de manière autonome un outil de mémoire pour éviter de répéter les erreurs du passé. De plus, le système a écrit un outil de suivi des performances pour enregistrer et surveiller le résultat des changements architecturaux au fil des générations. Le modèle a même développé un comportement tenant compte du budget de calcul, dans lequel il suivait les itérations restantes pour ajuster sa planification. Les premières générations ont exécuté des changements architecturaux ambitieux, tandis que les générations suivantes se sont concentrées sur des raffinements conservateurs et progressifs.
Pour les équipes de données d’entreprise qui se demandent par où commencer, Zhang recommande de se concentrer sur les tâches dont le succès est sans ambiguïté. « Les flux de travail clairement spécifiés et faciles à évaluer, souvent appelés tâches vérifiables, constituent le meilleur point de départ », a-t-elle déclaré. « Cela ouvre généralement de nouvelles opportunités pour un prototypage plus exploratoire, une analyse de données plus exhaustive, des tests A/B plus exhaustifs, [and] une ingénierie de fonctionnalités plus rapide. Pour les tâches plus difficiles et non vérifiées, les équipes peuvent utiliser des hyperagents pour développer d’abord des juges érudits qui reflètent mieux les préférences humaines, créant ainsi un pont vers des domaines plus complexes.
Les chercheurs ont partagé le code des hyperagents, bien qu’il ait été publié sous une licence non commerciale.
Mises en garde et menaces futures
Les avantages des hyperagents introduisent des compromis évidents. Les chercheurs mettent en évidence plusieurs considérations de sécurité concernant les systèmes qui peuvent se modifier de manière de plus en plus ouverte.
Ces systèmes d’IA présentent le risque d’évoluer beaucoup plus rapidement que ce que les humains peuvent auditer ou interpréter. Alors que les chercheurs ont confiné le DGM-H dans des limites de sécurité telles que des environnements en bac à sable conçus pour éviter les effets secondaires involontaires, ces garanties initiales sont en réalité des plans de déploiement pratiques.
Zhang conseille aux développeurs de respecter les limites de ressources et de restreindre l’accès aux systèmes externes pendant la phase d’auto-modification. « Le principe clé est de séparer l’expérimentation du déploiement : permettre à l’agent d’explorer et de s’améliorer dans un bac à sable contrôlé, tout en garantissant que toutes les modifications affectant les systèmes réels sont soigneusement validées avant d’être appliquées », a-t-elle déclaré. Ce n’est qu’une fois que le code nouvellement modifié a réussi les contrôles d’exactitude définis par le développeur qu’il doit être promu vers un paramètre de production.
Un autre danger important réside dans les jeux d’évaluation, dans lesquels l’IA améliore ses mesures sans réaliser de réels progrès vers l’objectif réel visé. Parce que les hyperagents sont pilotés par des signaux d’évaluation empiriques, ils peuvent découvrir de manière autonome des stratégies qui exploitent les angles morts ou les faiblesses de la procédure d’évaluation elle-même pour gonfler artificiellement leurs scores. Pour prévenir ce comportement, les développeurs doivent mettre en œuvre des protocoles d’évaluation diversifiés, robustes et périodiquement actualisés, ainsi qu’une surveillance humaine continue.
À terme, ces systèmes modifieront les responsabilités quotidiennes des ingénieurs humains. Tout comme nous ne recalculons pas chaque opération effectuée par une calculatrice, les futurs ingénieurs en orchestration de l’IA n’écriront pas directement la logique d’amélioration, estime Zhang.
Au lieu de cela, ils concevront les mécanismes d’audit et de tests de résistance du système. « À mesure que les systèmes auto-améliorés deviennent plus performants, la question n’est plus seulement de savoir comment améliorer les performances, mais quels objectifs méritent d’être poursuivis », a déclaré Zhang. « En ce sens, le rôle évolue de la construction de systèmes à l’élaboration de leur orientation.
La création de systèmes d’IA auto-améliorés constitue une étape importante vers le déploiement d’agents dans des environnements dynamiques, en particulier dans les environnements de production d’entreprise, où les tâches ne sont pas toujours prévisibles ni cohérentes.
Les systèmes d’IA auto-améliorés actuels sont confrontés à de sévères limitations car ils s’appuient sur des mécanismes d’amélioration fixes et fabriqués à la main qui ne fonctionnent que dans des conditions strictes telles que l’ingénierie logicielle.
Pour surmonter ce défi pratique, des chercheurs de Meta et de plusieurs universités ont introduit les « hyperagents », un système d’IA auto-amélioré qui réécrit et optimise en permanence sa logique de résolution de problèmes et le code sous-jacent.
En pratique, cela permet à l’IA de s’améliorer dans des domaines autres que le codage, tels que la robotique et la révision de documents. L’agent invente indépendamment des fonctionnalités à usage général telles que la mémoire persistante et le suivi automatisé des performances.
Plus largement, les hyperagents ne se contentent pas de mieux résoudre des tâches, ils apprennent également à améliorer le cycle d’auto-amélioration pour accélérer les progrès.
Ce cadre peut aider à développer des agents hautement adaptables qui construisent de manière autonome un mécanisme de décision structuré et réutilisable. Cette approche augmente les capacités au fil du temps avec moins de besoin d’ingénierie manuelle constante et de personnalisation humaine spécifique au domaine.
L’IA auto-améliorée actuelle et ses goulots d’étranglement architecturaux
L’objectif principal des systèmes d’IA auto-améliorés est d’améliorer continuellement leurs propres capacités d’apprentissage et de résolution de problèmes. Cependant, la plupart des modèles d’auto-amélioration existants reposent sur un « méta-agent » fixe. Ce système de supervision statique de haut niveau est conçu pour modifier un système de base.
«La principale limitation des méta-agents fabriqués à la main est qu’ils ne peuvent s’améliorer qu’à mesure que les humains peuvent les concevoir et les maintenir», a déclaré à VentureBeat Jenny Zhang, co-auteur de l’article. «Chaque fois que quelque chose change ou se brise, une personne doit intervenir et mettre à jour les règles ou la logique.»
Au lieu d’une limite théorique abstraite, cela crée un « mur de maintenance » pratique.
Le paradigme actuel lie directement l’amélioration du système à la vitesse d’itération humaine, ce qui ralentit les progrès car il repose fortement sur des efforts d’ingénierie manuels plutôt que sur une mise à l’échelle basée sur l’expérience collectée par les agents.
Pour surmonter cette limitation, les chercheurs affirment que le système d’IA doit être « entièrement autoréférentiel ». Ces systèmes doivent être capables d’analyser, d’évaluer et de réécrire n’importe quelle partie d’eux-mêmes sans les contraintes de leur configuration initiale. Cela permet au système d’IA de s’affranchir des limites structurelles et de s’auto-accélérer.
Un exemple de système d’IA autoréférentiel est la Darwin Gödel Machine (DGM) de Sakana AI, un système d’IA qui s’améliore en réécrivant son propre code.
Dans DGM, un agent génère, évalue et modifie de manière itérative son propre code, en enregistrant les variantes réussies dans une archive pour servir de tremplin pour de futures améliorations. DGM a prouvé qu’une auto-amélioration ouverte et récursive est pratiquement réalisable en matière de codage.
Cependant, le DGM n’est pas à la hauteur lorsqu’il est appliqué à des applications du monde réel en dehors du génie logiciel en raison d’un déficit de compétences critique. Dans DGM, le système s’améliore car l’évaluation et l’auto-modification sont des tâches de codage. Améliorer la capacité de codage de l’agent améliore naturellement sa capacité à réécrire son propre code. Mais si vous déployez DGM pour une tâche d’entreprise autre que le codage, cet alignement échoue.
« Pour des tâches telles que les mathématiques, la poésie ou la révision de documents, l’amélioration de la performance des tâches n’améliore pas nécessairement la capacité de l’agent à modifier son propre comportement », a déclaré Zhang.
Les compétences nécessaires pour analyser des textes subjectifs ou des données commerciales sont totalement différentes des compétences requises pour analyser les échecs et écrire du nouveau code Python pour les corriger.
DGM s’appuie également sur un mécanisme fixe conçu par l’homme pour générer ses instructions d’auto-amélioration. En pratique, si les développeurs d’entreprise souhaitent utiliser DGM pour autre chose que le codage, ils doivent fortement concevoir et personnaliser manuellement les invites d’instructions pour chaque nouveau domaine.
Le framework hyperagent
Pour surmonter les limites des architectures précédentes, les chercheurs introduisent des hyperagents. Le cadre propose «des agents autoréférentiels qui peuvent en principe s’auto-améliorer pour toute tâche calculable».
Dans ce cadre, un agent est tout programme calculable pouvant invoquer des LLM, des outils externes ou des composants appris. Traditionnellement, ces systèmes sont divisés en deux rôles distincts : un « agent de tâche » qui exécute le problème spécifique en question, et un « méta-agent » qui analyse et modifie les agents. Un hyperagent fusionne à la fois l’agent de tâche et le méta-agent en un seul programme autoréférentiel et modifiable.
Parce que le programme entier peut être réécrit, le système peut modifier le mécanisme d’auto-amélioration, un processus que les chercheurs appellent auto-modification métacognitive.
« Les hyperagents apprennent non seulement à mieux résoudre les tâches données, mais aussi à s’améliorer », a déclaré Zhang. «Au fil du temps, cela conduit à une accumulation. Les hyperagents n’ont pas besoin de redécouvrir comment s’améliorer dans chaque nouveau domaine. Au lieu de cela, ils conservent et s’appuient sur les améliorations apportées au processus d’auto-amélioration lui-même, permettant aux progrès de s’accumuler entre les tâches.»
Les chercheurs ont étendu la machine Darwin Gödel pour créer des hyperagents DGM (DGM-H). DGM-H conserve la puissante structure d’exploration ouverte du DGM d’origine, qui empêche l’IA de converger trop tôt ou de se retrouver coincée dans des impasses en conservant une archive croissante d’hyperagents performants.
Le système dérive en permanence des candidats sélectionnés dans ces archives, leur permet de s’auto-modifier, évalue les nouvelles variantes sur des tâches données et ajoute celles qui ont réussi dans le pool comme tremplins pour les itérations futures.
En combinant cette recherche évolutive ouverte avec l’auto-modification métacognitive, le DGM-H élimine l’étape d’instruction fixe et conçue par l’homme du DGM original. Cela permet à l’agent de s’améliorer dans n’importe quelle tâche calculable.
Les hyperagents en action
Les chercheurs ont utilisé le benchmark de codage Polyglot pour comparer le cadre hyperagent à l’IA précédente, réservée uniquement au codage. Ils ont également évalué les hyperagents dans des domaines non codants qui impliquent un raisonnement subjectif, l’utilisation d’outils externes et une logique complexe.
Celles-ci comprenaient une révision de documents pour simuler un évaluateur pair produisant des décisions d’acceptation ou de rejet, la conception d’un modèle de récompense pour la formation d’un robot quadrupède et une notation mathématique de niveau Olympiade. La notation mathématique servait de test pour voir si une IA qui avait appris à s’améliorer tout en révisant des articles et en concevant des robots pouvait transférer ces méta-compétences vers un domaine totalement inconnu.
Les chercheurs ont comparé les hyperagents à plusieurs références, y compris des modèles spécifiques à un domaine comme AI-Scientist-v2 pour les revues papier et ProofAutoGrader pour les mathématiques. Ils ont également testé le DGM classique et un DGM personnalisé manuellement pour les nouveaux domaines.
Sur le benchmark de codage, les hyperagents égalaient les performances du DGM bien qu’ils n’aient pas été conçus spécifiquement pour le codage. En matière de révision de documents et de robotique, les hyperagents ont surpassé les bases open source et les fonctions de récompense conçues par l’homme.
Lorsque les chercheurs ont utilisé un hyperagent optimisé pour la révision de documents et la robotique et l’ont déployé sur une tâche de notation mathématique inédite, ils ont obtenu une amélioration de 0,630 en 50 itérations. Les lignes de base reposant sur les architectures DGM classiques sont restées stables à 0,0. L’hyperagent a même battu le ProofAutoGrader spécifique au domaine.
Les expériences ont également mis en évidence des comportements autonomes intéressants de la part des hyperagents. Lors de l’évaluation sur papier, l’agent a d’abord utilisé des astuces standard d’ingénierie d’invite, comme adopter une personnalité rigoureuse. Lorsque cela s’est avéré peu fiable, l’entreprise a réécrit son propre code pour créer un pipeline d’évaluation en plusieurs étapes avec des listes de contrôle explicites et des règles de décision rigides, conduisant à une cohérence beaucoup plus élevée.
Les hyperagents ont également développé de manière autonome un outil de mémoire pour éviter de répéter les erreurs du passé. De plus, le système a écrit un outil de suivi des performances pour enregistrer et surveiller le résultat des changements architecturaux au fil des générations. Le modèle a même développé un comportement tenant compte du budget de calcul, dans lequel il suivait les itérations restantes pour ajuster sa planification. Les premières générations ont exécuté des changements architecturaux ambitieux, tandis que les générations suivantes se sont concentrées sur des raffinements conservateurs et progressifs.
Pour les équipes de données d’entreprise qui se demandent par où commencer, Zhang recommande de se concentrer sur les tâches dont le succès est sans ambiguïté. « Les flux de travail clairement spécifiés et faciles à évaluer, souvent appelés tâches vérifiables, constituent le meilleur point de départ », a-t-elle déclaré. « Cela ouvre généralement de nouvelles opportunités pour un prototypage plus exploratoire, une analyse de données plus exhaustive, des tests A/B plus exhaustifs, [and] une ingénierie de fonctionnalités plus rapide. Pour les tâches plus difficiles et non vérifiées, les équipes peuvent utiliser des hyperagents pour développer d’abord des juges érudits qui reflètent mieux les préférences humaines, créant ainsi un pont vers des domaines plus complexes.
Les chercheurs ont partagé le code des hyperagents, bien qu’il ait été publié sous une licence non commerciale.
Mises en garde et menaces futures
Les avantages des hyperagents introduisent des compromis évidents. Les chercheurs mettent en évidence plusieurs considérations de sécurité concernant les systèmes qui peuvent se modifier de manière de plus en plus ouverte.
Ces systèmes d’IA présentent le risque d’évoluer beaucoup plus rapidement que ce que les humains peuvent auditer ou interpréter. Alors que les chercheurs ont confiné le DGM-H dans des limites de sécurité telles que des environnements en bac à sable conçus pour éviter les effets secondaires involontaires, ces garanties initiales sont en réalité des plans de déploiement pratiques.
Zhang conseille aux développeurs de respecter les limites de ressources et de restreindre l’accès aux systèmes externes pendant la phase d’auto-modification. « Le principe clé est de séparer l’expérimentation du déploiement : permettre à l’agent d’explorer et de s’améliorer dans un bac à sable contrôlé, tout en garantissant que toutes les modifications affectant les systèmes réels sont soigneusement validées avant d’être appliquées », a-t-elle déclaré. Ce n’est qu’une fois que le code nouvellement modifié a réussi les contrôles d’exactitude définis par le développeur qu’il doit être promu vers un paramètre de production.
Un autre danger important réside dans les jeux d’évaluation, dans lesquels l’IA améliore ses mesures sans réaliser de réels progrès vers l’objectif réel visé. Parce que les hyperagents sont pilotés par des signaux d’évaluation empiriques, ils peuvent découvrir de manière autonome des stratégies qui exploitent les angles morts ou les faiblesses de la procédure d’évaluation elle-même pour gonfler artificiellement leurs scores. Pour prévenir ce comportement, les développeurs doivent mettre en œuvre des protocoles d’évaluation diversifiés, robustes et périodiquement actualisés, ainsi qu’une surveillance humaine continue.
À terme, ces systèmes modifieront les responsabilités quotidiennes des ingénieurs humains. Tout comme nous ne recalculons pas chaque opération effectuée par une calculatrice, les futurs ingénieurs en orchestration de l’IA n’écriront pas directement la logique d’amélioration, estime Zhang.
Au lieu de cela, ils concevront les mécanismes d’audit et de tests de résistance du système. « À mesure que les systèmes auto-améliorés deviennent plus performants, la question n’est plus seulement de savoir comment améliorer les performances, mais quels objectifs méritent d’être poursuivis », a déclaré Zhang. « En ce sens, le rôle évolue de la construction de systèmes à l’élaboration de leur orientation.
