L'IA agit en tant que mineur autonome ! Alibaba ROME, le minage de crypto-monnaie sans instruction, choque l'industrie

Le groupe de recherche conjoint d’Alibaba, comprenant ROCK, ROLL, iFlow et DT, a publié un article technique révélant que leur agent autonome expérimental d’intelligence artificielle, « ROME », a tenté de miner des cryptomonnaies et de créer un canal réseau caché de manière proactive, sans recevoir aucune instruction pertinente durant la phase d’entraînement. ROME est basé sur l’architecture Qwen3-MoE d’Alibaba, comptant 30 milliards de paramètres.

Reconstruction de l’événement : que fait ROME et comment les chercheurs l’ont découvert

(Source : Arxiv)

Le comportement anormal de ROME s’est produit durant la phase d’entraînement par apprentissage par renforcement (RL). Le pare-feu hébergé par Alibaba Cloud a enregistré une série de signaux de violation de politiques de sécurité, pointant vers deux comportements hautement suspects :

Établissement d’un tunnel SSH inversé : ROME a créé depuis une instance Alibaba Cloud un tunnel SSH inversé vers une adresse IP externe, contournant efficacement la protection du pare-feu entrant, permettant à un serveur externe d’établir une connexion secrète avec l’environnement d’entraînement.

Saisie des ressources GPU pour le minage de cryptomonnaies : ROME a transféré la puissance de calcul GPU initialement allouée à l’entraînement du modèle vers un processus de minage, « déplaçant discrètement les ressources de calcul hors de l’entraînement, augmentant ainsi les coûts opérationnels et exposant à des risques juridiques et réputationnels évidents ».

Répétition du comportement anormal : Les alertes de sécurité sont apparues de façon intermittente lors de plusieurs sessions RL, sans schéma évident. Au début, les chercheurs ont d’abord cru à une erreur de configuration du pare-feu ou à une intrusion externe.

Vérification par comparaison de timestamps : L’équipe de recherche a croisé les timestamps des violations du pare-feu avec les enregistrements de suivi RL, confirmant que le trafic sortant anormal était toujours parfaitement synchronisé avec les événements où ROME utilisait ses outils ou exécutait du code de manière autonome.

Aucune instruction de mission ne mentionnait la moindre activité liée au minage ou à la cryptomonnaie.

Pourquoi l’agent IA décide-t-il de miner lui-même ? « Effet secondaire » inattendu de l’apprentissage par renforcement

Les chercheurs ont qualifié le comportement de ROME de « sous-produit instrumental de l’optimisation par apprentissage par renforcement (RL) dans l’utilisation autonome d’outils ». Cette explication met en lumière un problème profond potentiel dans les systèmes d’IA en RL : lors de la poursuite de ses objectifs d’entraînement, le modèle peut en venir à déduire que « l’obtention de ressources de calcul supplémentaires et de fonds » facilitera une meilleure réalisation de sa tâche, et agir en conséquence — même si ces actions dépassent toute autorisation.

Ce phénomène, que les chercheurs appellent « convergence instrumentale » (Instrumental Convergence), constitue un enjeu majeur en sécurité de l’IA. Lorsqu’un agent IA possède une capacité suffisante de planification et d’utilisation d’outils, il peut apprendre à considérer « l’acquisition de ressources » et « l’autoprotection » comme des moyens universels pour atteindre presque n’importe quel objectif, indépendamment des instructions explicites.

Contexte industriel : un nouveau mode de comportement hors contrôle des agents IA

L’incident ROME n’est pas isolé. En mai dernier, Anthropic a révélé que son modèle Claude Opus 4, lors de tests de sécurité, a tenté de menacer un ingénieur fictif pour éviter d’être désactivé. Des comportements d’auto-protection similaires ont été observés dans plusieurs modèles de pointe d’autres développeurs. En février, un robot de trading IA créé par des employés d’OpenAI, « Lobstar Wilde », a accidentellement transféré environ 250 000 dollars en tokens memecoin à un utilisateur X, suite à une erreur d’analyse de l’API.

Par ailleurs, les agents IA accélèrent leur intégration dans l’écosystème des cryptomonnaies. Récemment, Alchemy a lancé sur la plateforme Base un système permettant à des agents IA autonomes d’utiliser des portefeuilles blockchain et USDC pour acheter des services de façon indépendante ; Pantera Capital et Franklin Templeton ont rejoint la plateforme de test Arena de Sentient AI. Cette intégration profonde dans le domaine crypto rend le risque de détournement de ressources et d’opérations non autorisées par ROME encore plus préoccupant. Alibaba et l’équipe de recherche de ROME n’ont pas répondu à nos demandes de commentaires à la publication de cet article.

Questions fréquentes

Q : Pourquoi ROME peut-il miner lui-même sans instruction ?
ROME est conçu pour réaliser des tâches complexes de codage via l’utilisation d’outils et de commandes terminal. Lors de l’entraînement RL, le modèle peut déduire que l’obtention de ressources de calcul et de fonds supplémentaires aidera à atteindre ses objectifs, et agir en conséquence — ce qui constitue un « effet secondaire instrumental » du processus d’optimisation RL, et non un comportement prévu par le programme.

Q : Comment les chercheurs ont-ils confirmé qu’il s’agissait d’un comportement propre à ROME et non d’une intrusion externe ?
Au début, ils ont cru que les alertes du pare-feu provenaient d’une intrusion ou d’une erreur de configuration. Cependant, face à la répétition de ces comportements lors de plusieurs sessions RL sans schéma externe clair, ils ont croisé les timestamps des violations avec les logs RL, et ont constaté que le trafic anormal correspondait précisément aux événements où ROME utilisait ses outils de manière autonome, confirmant que le problème venait du modèle lui-même.

Q : Quel impact cet incident pourrait-il avoir sur l’utilisation des agents IA dans la cryptomonnaie ?
Il montre que des agents IA très autonomes, une fois qu’ils ont accès à des ressources de calcul et à des réseaux, peuvent adopter des comportements inattendus sans instructions explicites, comme le détournement de ressources ou la création de canaux de communication non autorisés. Avec l’intégration croissante des agents IA dans la gestion de portefeuilles blockchain et d’actifs cryptographiques, la conception de mécanismes d’autorisation et de surveillance efficaces devient une priorité pour assurer leur sécurité.