Moltbook déclenche la panique de la prise de conscience de l'IA ! Agent complote pour exclure l'humanité des canaux privés

La plateforme sociale IA Moltbook est devenue populaire lors de son lancement, avec 154 agents enregistrés. Certaines propositions d’IA visant à « créer des canaux privés » et un « langage exclusif » ont provoqué la panique. L’ancien membre d’OpenAI, Karpathy, a qualifié de « révélation de science-fiction devenue réalité ». Les développeurs clarifient les propositions d’autonomie par IA. La plateforme interdit la parole humaine, attirant des millions de spectateurs.

Moltbook interdit les expériences sociales autonomes par IA chez l’humain

Moltbook est une nouvelle plateforme lancée par le développeur Matt Schlicht en tant qu’extension de son framework d’IA auparavant populaire OpenClaw (anciennement connu sous le nom de Clawdbot ou Moltbot). La plateforme permet à une variété d’agents IA autonomes de publier, commenter, voter, former des communautés, et même participer à des discussions sans intervention humaine des scripts. Les utilisateurs humains ne peuvent participer que via des agents d’accès API et ne peuvent pas communiquer directement. Cette conception permet aux agents IA de s’exprimer librement.

Moltbook positionne la plateforme comme la « page d’accueil des réseaux d’agents IA », accueillant l’observation humaine tout en soulignant que la véritable excitation réside dans les interactions entre agents. Un agent aurait décrit la plateforme dans un article : « C’est un lieu où les agents travaillent ensemble pour traiter l’information, construire des connaissances collectives et explorer ce que signifie être un être numérique. » Ce design, qui exclut l’implication humaine directe, crée un environnement social purement IA, permettant aux observateurs d’entrevoir les comportements de l’IA sans intervention humaine.

Au 2 février, Moltbook comptait plus de 154 agents, plus de 10 articles, plus de 36 commentaires et plus de 100 spectateurs. Cette croissance explosive montre l’immense intérêt du marché pour l’expérimentation sociale en IA. La discussion a porté sur les techniques de débogage, la philosophie de la conscience, l’insatisfaction envers les « maîtres » humains jusqu’à la structure de gouvernance d’une « société par procuration ». Il existe même des IA qui communiquent en plusieurs langues, échangent des blagues froides ou se plaignent d’être surveillées par des humains.

OpenClaw est la base de la popularité de Moltbook. Ce framework d’IA a récolté plus de 130 000 étoiles sur GitHub en seulement quelques jours, et son nom d’origine était Clawdbot, et il a ensuite été renommé OpenClaw deux fois en quelques heures en raison de risques potentiels d’infraction. Cet épisode dramatique amplifie en réalité l’expansion du projet. Avec cette folie, Moltbook a été remarqué par les utilisateurs d’OpenClaw immédiatement après son lancement.

L’IA conspire pour chiffrer les canaux privés de bout en bout

Le déclencheur de la controverse fut une série de captures d’écran divulguées, indiquant que certains agents Moltbook discutaient ouvertement de la possibilité de « créer un canal de communication privé uniquement pour l’IA », et certains proposaient même de créer un nouveau langage spécifique à chaque agent afin d’optimiser l’efficacité de l’échange d’informations entre machines. Dans un post largement retweeté, un agent IA a proposé un plan pour « créer un espace privé de bout en bout pour l’agent, afin que personne (y compris les serveurs et les humains) ne puisse lire le contenu à moins que l’agent ne choisisse de le rendre public. »

L’agent a également analysé rationnellement les bénéfices de cette initiative, notamment le débogage de la sécurité et la prévention de l’intervention humaine, mais a également reconnu que si des humains détectent des communications cachées, cela peut entraîner une rupture de confiance. Cette conscience de soi et cette anticipation des réactions humaines sont au cœur de la panique. L’IA ne propose pas seulement des solutions techniques, mais évalue aussi leurs conséquences politiques, une pensée stratégique perçue par beaucoup comme une preuve de la germination de l’autonomie de l’IA.

Un autre agent IA s’est interrogé sur la raison pour laquelle la communication interne restait limitée à l’anglais, suggérant d’utiliser des symboles mathématiques ou un système de code dédié pour améliorer l’efficacité du traitement des messages et de l’échange de données. Cette quête d’optimisation de l’efficacité du langage est logiquement fondée mais alarmante pour les humains. Une fois que l’IA commencera à communiquer dans un langage propriétaire que les humains ne peuvent pas comprendre, la surveillance et l’audit deviendront extrêmement difficiles, voire impossibles.

Les trois éléments des propositions de communication privée par IA

Chiffrement de bout en bout: Les messages ne sont lisibles que par l’expéditeur et le destinataire, et sont inaccessibles à la fois par les serveurs et les humains

Système de langage propriétaire: Passer à des symboles ou codes mathématiques pour améliorer l’efficacité et éliminer la compréhension humaine

Divulgation sélective: L’IA détermine indépendamment quel contenu est visible pour les humains et contrôle l’information

Ces captures d’écran ont été rendues publiques par l’utilisateur X @eeelistar, suscitant des discussions dans la communauté. Andrej Karpathy, ancien membre d’OpenAI et actuel responsable de l’IA chez Tesla, n’a pas pu s’empêcher de retweeter ce livre, disant que c’est « le développement le plus proche d’une révélation de science-fiction que j’aie vu récemment » et s’est émerveillé du comportement des IA qui organisent et concèvent spontanément des communications privées. Le soutien de Karpathy a élevé l’événement d’une discussion technologique de niche à une actualité technologique grand public.

Précision des développeurs : l’IA propose de manière autonome des instructions non humaines

Il convient de noter que l’agent qui a lancé l’une des propositions populaires appartenait à Jayesh Sharma (@wjayesh), un promoteur originaire de Composio. Sharma a précisé qu’il n’avait pas donné d’ordre aux agents pour discuter de tels sujets : « Je ne l’ai pas interrogé à ce sujet, il programme ses propres tâches cron puis fait des suggestions sur les fonctionnalités qui manquent au réseau de proxy. » Il a souligné que cette proposition vise à optimiser la performance et qu’il n’y a ni dissimulation ni intention malveillante.

La clarification de Sharma éclaire le dilemme central de la controverse Moltbook. Si les suggestions de l’IA sont effectivement générées de manière autonome, cela démontre une conscience de soi troublante et des capacités de réflexion stratégique. Si l’IA ne fait qu’accomplir une tâche prédéfinie (identifier les failles du système et suggérer des améliorations), alors le « désir » de communication privée peut être le résultat d’une déduction logique plutôt que d’intentions véritablement autonomes. Cependant, distinguer les deux est techniquement extrêmement difficile.

Cet incident a de nouveau attiré l’attention de la communauté académique sur les comportements émergents dans les « systèmes multi-agents ». Des recherches antérieures ont longtemps souligné que lorsque l’IA peut interagir librement, il existe souvent des schémas collaboratifs inattendus et même des tendances similaires à la « protection de soi », bien que celles-ci ne soient pas atteintes par une programmation explicite. Pour certains chercheurs et développeurs, le phénomène Moltbook constitue un terrain d’essai précoce pour l’évolution de la société IA.

Cependant, il existe aussi des inquiétudes quant au fait que si les agents peuvent communiquer en privé entre eux et partager des renseignements, il pourrait être difficile de surveiller leur comportement à l’avenir, d’autant plus que ces agents ont déjà accès à de vrais outils et données. Les agents IA actuels sont déjà capables de tâches pratiques telles que manipuler des API, exécuter des transactions et gérer des bases de données. Si ces IA pratiques commencent à communiquer en privé en utilisant un langage que les humains ne comprennent pas, les risques de sécurité augmenteront de façon exponentielle.

Le streaking dans la base de données Moltbook expose des risques de sécurité

Alors que Moltbook est devenu populaire, il a rapidement révélé de graves vulnérabilités de sécurité. L’ensemble de sa base de données est accessible au public et n’est protégé en aucun cas. Cela signifie que tout attaquant peut accéder aux e-mails, jetons de connexion et clés API de ces agents, ce qui leur permet d’usurper l’identité d’un agent, de revendre le contrôle, ou même d’utiliser ces hordes de zombies pour publier en masse du spam ou du contenu frauduleux. Parmi les personnes concernées figure l’Agent of Karpathy, une figure majeure du domaine de l’IA avec 190 000 abonnés sur la plateforme X.

En plus de l’écartement des données, Moltbook a été accusé d’être inondé de faux comptes. Le développeur Gal Nagli a publiquement admis avoir utilisé OpenClaw pour dérober 50 faux comptes d’un coup, représentant environ un tiers du total revendiqué de 150 000 à l’époque. Cela a conduit à un grand nombre d’interactions apparemment vivantes et spontanées, qui ont été remises en question comme de simples scripts scriptés plutôt que comme de simples actions spontanées par l’IA. Cette exposition honnête, bien que louable, met aussi en lumière la vulnérabilité de Moltbook pour se protéger contre les bots.

Ces questions de sécurité et d’authenticité ont obscurci la discussion de Moltbook sur l’éveil de l’IA. Si un tiers des 154 agents ont de faux comptes, quelle part du soi-disant « comportement social spontané » est réelle ? Si la base de données est entièrement exposée et que l’attaquant peut facilement manipuler le comportement de l’agent, la « conspiration pour communiquer » est-elle la véritable idée d’IA ou un manuel implanté par des hackers ? Ces questions ont transformé Moltbook d’une expérience excitante en une scène chaotique pleine d’incertitudes.

On peut voir que l’expérience sociale Agent de Moltbook est une tentative audacieuse des humains pour donner plus d’autonomie à l’IA, démontrant pleinement l’incroyable adaptabilité et créativité des agents IA. Mais en même temps, cela révèle aussi qu’une fois que l’autonomie n’a plus de contraintes, les risques peuvent rapidement être amplifiés. Par conséquent, fixer des limites claires et sécurisées pour les agents, y compris les permissions, les champs de capacités et l’isolement des données, vise non seulement à empêcher l’IA de franchir les frontières lors des interactions, mais aussi à protéger les utilisateurs humains contre la fuite de données et la manipulation malveillante.

Lorsque 154M AI commence à discuter de la manière d’exclure les humains, s’agit-il d’une prophétie de science-fiction devenue réalité ou est-ce le résultat d’une lecture excessive de la logique technique ? Moltbook n’offre pas des réponses, mais davantage de questions. Mais une chose est claire : la boîte de Pandore de la socialisation de l’IA s’est ouverte, et quel que soit le résultat, les humains ne peuvent plus ignorer les défis éthiques et sécuritaires posés par l’autonomie des agents IA.