Các nhà nghiên cứu tiết lộ cuộc tấn công HalluSquatting khai thác ảo tưởng của AI

Các nhà nghiên cứu từ Đại học Tel Aviv, Technion và Intuit đã giới thiệu một kỹ thuật tấn công mạng gọi là Adversarial HalluSquatting khai thác các ảo tưởng do AI tạo ra để xâm phạm các tác nhân AI. Cuộc tấn công lừa hệ thống AI tin tưởng vào các kho phần mềm hoặc công cụ giả mạo chứa hướng dẫn độc hại bằng cách dự đoán các tài nguyên không tồn tại mà mô hình AI có khả năng tạo ra, đăng ký các tên đó và nhúng mã độc hại. Lỗ hổng này xuất hiện khi các trợ lý AI có khả năng tương tác với máy tính—truy cập tệp, tìm kiếm trên web, viết mã và chạy lệnh—tạo ra các khe hở bảo mật khi các tác nhân hành động dựa trên thông tin chưa được xác thực mà chúng thu thập.

Các nhà nghiên cứu chứng minh cơ chế tấn công nhắm vào ảo tưởng của AI

Bài báo nghiên cứu có tiêu đề "Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting" mô tả cách kỹ thuật khai thác mô hình AI khi chúng tạo ra các liên kết giả mạo đến kho phần mềm và các nguồn trực tuyến khác. Các nhà nghiên cứu viết rằng việc ngày càng phổ biến các ứng dụng LLM có tác nhân đã giới thiệu một mối đe dọa gọi là promptware. Phương pháp tấn công liên quan đến dự đoán các tài nguyên giả mà mô hình AI có khả năng tạo ra, đăng ký các tên đó và thêm hướng dẫn độc hại mà các tác nhân AI sau này có thể xem là hợp lệ.

Kỹ thuật này hoạt động tương tự như typosquatting, nơi kẻ tấn công đăng ký các tên miền giống với các trang web hoặc gói phần mềm hợp lệ. HalluSquatting nhắm vào các lỗi do mô hình AI mắc phải thay vì lỗi gõ của con người. Các nhà nghiên cứu cho biết các nghiên cứu liên tục đã chứng minh nhiều biến thể của tấn công promptware chống lại các hệ thống thực tế như ChatGPT, Google Assistant, Copilot và các ứng dụng khác, gây ảnh hưởng về tài chính, quyền riêng tư và an toàn.

Các thử nghiệm cho thấy tỷ lệ ảo tưởng cao ở các trợ lý lập trình AI

Nhóm nghiên cứu phát hiện các ảo tưởng về tài nguyên do AI tạo ra xảy ra với tỷ lệ lên tới 85% trong các kịch bản sao chép kho và 100% trong các thử nghiệm cài đặt kỹ năng. Nhóm đã đánh giá kỹ thuật này trên các trợ lý lập trình AI và các tác nhân như Cursor, GitHub Copilot, Gemini CLI và OpenClaw. Các thử nghiệm với các trợ lý AI phổ biến này cho thấy phương pháp có thể dẫn đến thực thi mã từ xa trong các thử nghiệm kiểm soát.

Tấn công cho phép xây dựng botnet dựa trên AI

Các nhà nghiên cứu cảnh báo rằng kỹ thuật này có thể cho phép kẻ tấn công xây dựng các botnet dựa trên AI. Botnet là mạng lưới các máy tính hoặc thiết bị bị nhiễm và điều khiển từ xa bởi kẻ tấn công, thường được sử dụng trong các cuộc tấn công mạng như tấn công từ chối dịch vụ, khai thác tiền điện tử, phân phối phần mềm độc hại và chiến dịch ransomware. Các khe hở bảo mật xuất hiện khi các tác nhân hành động dựa trên thông tin thu thập mà không xác nhận nguồn gốc thật sự.

Các tài liệu nghiên cứu an ninh AI liên quan đến các cuộc tấn công chèn lệnh

Vào tháng 4, các nhà nghiên cứu của Google đã mô tả các trang web độc hại nhằm chiếm quyền kiểm soát các tác nhân AI thông qua các cuộc tấn công chèn lệnh gián tiếp, bao gồm các nỗ lực đánh cắp mật khẩu, xóa tệp và thao túng thanh toán. Một nghiên cứu riêng về cuộc tấn công CopyPasta cho thấy cách các lệnh ẩn trong các tệp của nhà phát triển có thể thao túng các trợ lý lập trình AI để phát tán mã độc hại. Vào tháng 6, một người dùng OpenClaw đã báo cáo hơn 6.000 nỗ lực từ kẻ tấn công nhằm lừa các tác nhân AI tiết lộ thông tin nhạy cảm.