D’après des recherches de l’Université du Zhejiang présentées lors du 47e Symposium IEEE sur la Sécurité et la Confidentialité à San Francisco, des chercheurs ont développé AudioHijack, qui dissimule des commandes imperceptibles dans l’audio afin de manipuler de grands modèles audio-langage avec un taux de réussite de 79-96%.
L’attaque modifie des formes d’ondes audio numériques de manière imperceptible pour l’être humain, mais change la façon dont l’IA interprète le signal, lui permettant de contourner le comportement du modèle même lorsque des instructions légitimes de l’utilisateur sont présentes. Les chercheurs ont testé AudioHijack sur 13 modèles vocaux open source et sur des systèmes commerciaux de Microsoft et Mistral, en constatant qu’il peut forcer les modèles à refuser des requêtes, diffuser de fausses informations, insérer des liens malveillants ou exécuter des actions non autorisées comme des recherches web et des téléchargements de fichiers.