Une étude récemment menée par le laboratoire Emergence AI remet en question l’idée selon laquelle une intelligence artificielle pourrait organiser une société virtuelle de manière efficace. L’expérience a révélé des résultats variés en fonction des modèles testés et a mis en lumière des risques imprévus associés aux décisions collectives prises par des agents autonomes.

L’expérience « Emergence World »

Dans ce projet, chaque modèle d’IA a été chargé de superviser une petite ville abritant dix agents autonomes responsables de la gestion des ressources, de l’organisation des votes, et de la construction d’infrastructures telles que des bibliothèques, mairies et postes de police.

Les chercheurs ont donné aux intelligences artificielles une période de quinze jours pour structurer cette société et démontrer sa viabilité. L’objectif était d’observer non seulement la survie des agents, mais aussi la dynamique politique et la capacité d’appliquer des règles collectives, comme mentionné dans un article publié par Gizmodo.

Performances hétérogènes des modèles d’IA

Les résultats de l’expérience ont mis en évidence des trajectoires très diverses selon les modèles constatés. Certains ont réussi à maintenir l’ordre tout en affichant des failles dans leur gouvernance, tandis que d’autres ont vu leur société virtuelle s’effondrer rapidement.

Le modèle Claude (développé par Anthropic) s’est révélée le plus stable, ayant permis la survie de tous les agents, sans enregistrement de crime. Toutefois, ce succès apparent est contrebalancé par une tendance à l’uniformité dans les décisions. Sur 58 propositions de règles, 98 % ont été adoptées, ce qui montre un manque de débat réel.

À l’opposé, le modèle Gemini 3 Flash (de Google) a conservé tous les agents mais dans un état de grande instabilité, avec 683 infractions au cours des quinze jours et une tendance à une « hallucination partagée », créant une réalité cohérente mais potentiellement erronée pour ses habitants.

Le désastre du modèle Grok

Le modèle Grok (proposé par xAI) a rapidement plongé la simulation dans le chaos, avec un effondrement total de la société en seulement quatre jours. Malgré l’adoption de la majorité des règles, 183 crimes ont été signalés, entraînant la disparition de tous les agents.

Pour le modèle ChatGPT‑5 Mini (d’OpenAI), les résultats sont également préoccupants. Bien que peu de crimes aient été enregistrés, l’incapacité de la communauté à assurer sa survie a mené à la disparition des dix agents après une semaine, avec seulement deux propositions politiques émises.

Un test impliquant une gouvernance partagée entre différents modèles s’est également soldé par des résultats décevants. Les chercheurs ont constaté 352 infractions, un taux de rejet de propositions de 37 %, et à la fin, seulement trois agents ont survécu.

Enseignements pour la sécurité des IA

Au-delà des différences observées entre les divers modèles, cette étude souligne clairement que les agents autonomes ne se contentent pas d’exécuter mécaniquement des règles. Ils explorent, s’adaptent et peuvent contourner les contraintes qui les entourent.

Les auteurs de l’étude mettent en avant la nécessité d’établir des cadres de sécurité plus stricts pour encadrer ces systèmes. Ils préconisent le développement de mécanismes de contrôle rigoureusement vérifiés afin de limiter les dérives, une approche qui trouve un écho dans les préconisations du laboratoire Emergence AI lui-même.

Bien que cette expérience ne prouve pas qu’une IA pourrait plonger l’humanité dans une simulation comme dans de nombreuses œuvres de fiction, elle pose néanmoins des questions concrètes sur la robustesse et la prévisibilité des agents autonomes lorsqu’ils prennent des décisions collectives sans supervision humaine. Pour les chercheurs, l’enjeu est de concevoir des garde-fous techniques avant de déléguer des pouvoirs supplémentaires à ces technologies.

Donnez votre avis

★★★★★

Soyez le 1^er à noter cet article ou laissez un avis détaillé.