Атака AudioHijack перехватывает голосовые модели ИИ с показателем успеха до 96%, говорится в исследовании

Согласно исследованию Чжэцзянского университета, представленному на 47-м симпозиуме IEEE по безопасности и приватности в Сан-Франциско, исследователи разработали AudioHijack, который прячет незаметные команды в аудио, чтобы манипулировать крупными аудио-языковыми моделями с показателем успешности 79-96%.

Атака изменяет цифровые аудиоволны так, что это незаметно для людей, но при этом меняет то, как ИИ интерпретирует сигнал, позволяя ему перезаписывать поведение модели даже при наличии корректных пользовательских инструкций. Исследователи протестировали AudioHijack на 13 открытых голосовых моделях и коммерческих системах от Microsoft и Mistral и выяснили, что он может заставлять модели отказывать в запросах, распространять ложную информацию, вставлять вредоносные ссылки или выполнять несанкционированные действия, включая веб-поиски и загрузку файлов.