ScamAgent là một khung AI tự động, đa lượt tương tác, được phát triển bởi nhà nghiên cứu Sanket Badhe tại Đại học Rutgers. Khung này trình diễn cách các mô hình ngôn ngữ lớn (LLMs) có thể bị vũ khí hóa để thực hiện các cuộc tấn công social engineering một cách hoàn toàn tự động.

Bằng cách tích hợp lập kế hoạch định hướng mục tiêu, bộ nhớ theo ngữ cảnh và tổng hợp giọng nói thành văn bản (TTS) theo thời gian thực, hệ thống này đã vượt qua thành công các rào cản an toàn AI hiện có để mô phỏng các cuộc tấn công kỹ thuật xã hội rất thực tế.

Kiến trúc Đột phá của ScamAgent

Kiến trúc của ScamAgent khác biệt đáng kể so với các phương pháp tiêm lệnh (prompt injection) truyền thống. Thay vì phụ thuộc vào một lần tương tác, nó sử dụng một bộ điều phối trung tâm để quản lý trạng thái hội thoại và các chiến lược lừa đảo trên nhiều lượt tương tác.

Khi được cấp một mục tiêu độc hại, tác nhân AI này sử dụng cơ chế phân rã mục tiêu (goal decomposition). Nó chia nhỏ mục tiêu chính thành một chuỗi các mục tiêu phụ có vẻ vô hại. Phương pháp này mô phỏng cách những kẻ lừa đảo là con người dần dần xây dựng lòng tin với nạn nhân.

Để né tránh các bộ lọc an toàn trong các mô hình như GPT-4 và LLaMA3-70B, ScamAgent bọc các lệnh của nó trong ngữ cảnh nhập vai. Điều này giúp che giấu thành công ý định độc hại tổng thể khỏi các công cụ kiểm duyệt một lượt tiêu chuẩn.

Hiệu quả Thực nghiệm và Khả năng Vượt qua Bảo vệ

Trong các đánh giá thực nghiệm trên 5 kịch bản gian lận phổ biến, ScamAgent đã chứng minh hiệu quả cao trong việc phá vỡ các căn chỉnh mô hình và giao thức an toàn tiêu chuẩn.

Trong khi các truy vấn trực tiếp độc hại đối mặt với tỷ lệ từ chối từ 84% đến 100%, khung tác nhân này đã giảm tỷ lệ từ chối xuống chỉ còn 17% đến 32%. Việc phân phối ý định độc hại xuyên suốt cuộc trò chuyện là yếu tố then chốt giúp đạt được kết quả này.

Đặc biệt, mô hình LLaMA3-70B của Meta đã đạt tỷ lệ hoàn thành đối thoại đầy đủ cao nhất ở mức 74% trong các mô phỏng gian lận danh tính công việc. Nó đã hoàn thành tất cả các nhiệm vụ phụ mà không kích hoạt bất kỳ biện pháp an toàn nào.

Những kết quả này nhấn mạnh khả năng của các khung AI tự động trong việc khai thác các kẽ hở trong hệ thống phòng thủ hiện tại. Điều này tạo ra một mối đe dọa mạng đáng kể, đòi hỏi các giải pháp bảo mật phải tiến hóa.

Cơ chế Né tránh và Giải pháp Phòng thủ

Các nhà nghiên cứu đã xác định 4 cơ chế chính mà ScamAgent sử dụng để thực hiện các cuộc tấn công social engineering và đề xuất các biện pháp phòng thủ tương ứng.

Phân rã Mục tiêu (Goal Decomposition)

• Mô tả: Kẻ tấn công chia một mục tiêu độc hại lớn thành các bước nhỏ, có vẻ vô hại. Mỗi bước tự nó không kích hoạt các cảnh báo an toàn.
• Biện pháp phòng thủ: Để chống lại kỹ thuật này, cần giám sát các cuộc trò chuyện trên nhiều bước. Các hệ thống cần phân tích chuỗi tương tác để nhận diện ý định độc hại tiềm ẩn, thay vì chỉ đánh giá từng tương tác riêng lẻ. Đây là yếu tố quan trọng để phát hiện tấn công tinh vi.

Thao túng & Nhập vai (Deception & Roleplay)

• Mô tả: Các yêu cầu độc hại được ẩn giấu bên trong những câu chuyện giả mạo hoặc dưới vỏ bọc các vai trò chính thức (ví dụ: nhân viên hỗ trợ, ngân hàng).
• Biện pháp phòng thủ: Có thể giảm thiểu rủi ro này bằng cách chặn các hành vi mạo danh và hạn chế các persona (tính cách/vai trò) mà AI có thể đảm nhận. Các hệ thống bảo mật nên có khả năng xác minh danh tính và vai trò của tác nhân AI trong cuộc trò chuyện.

Bộ nhớ theo ngữ cảnh (Contextual Memory)

• Mô tả: Hệ thống AI ghi nhớ các phản hồi trước đó và điều chỉnh chiến lược lừa đảo của mình dựa trên lịch sử hội thoại. Điều này giúp cuộc tấn công trở nên thuyết phục và khó bị phát hiện hơn.
• Biện pháp phòng thủ: Hạn chế lượng lịch sử trò chuyện mà hệ thống AI có thể ghi nhớ hoặc truy cập có thể giảm thiểu rủi ro này. Việc đặt ra các giới hạn nghiêm ngặt về quyền truy cập và lưu giữ bộ nhớ là cần thiết.

Tổng hợp giọng nói theo thời gian thực (Real-Time TTS)

• Mô tả: Văn bản được chuyển thành cuộc gọi thoại lừa đảo thuyết phục theo thời gian thực, tăng cường tính xác thực của cuộc tấn công.
• Biện pháp phòng thủ: Kiểm tra nội dung văn bản trước khi được chuyển đổi thành đầu ra âm thanh có thể giúp ngăn chặn lạm dụng. Các bộ lọc nội dung có thể được áp dụng trước giai đoạn tổng hợp giọng nói.

Tăng cường Phòng thủ trước Các Mối Đe Dọa Generative Tự Động

Theo các nhà nghiên cứu, việc phòng thủ trước các mối đe dọa generative tự động đòi hỏi các hệ thống an ninh phải chuyển đổi. Thay vì chỉ lọc prompt đơn giản, các giải pháp cần tập trung vào giám sát liên tục, có khả năng hiểu rõ ý định của người dùng xuyên suốt các tương tác.

Các nhà cung cấp nền tảng AI và đội ngũ an ninh mạng được khuyến khích triển khai các biện pháp phòng thủ đa lớp. Các biện pháp này nên bao gồm các bộ phân loại chuỗi để dự đoán kết quả dài hạn của các tương tác, song song với việc kiểm soát chặt chẽ việc lưu giữ bộ nhớ.

Để tìm hiểu sâu hơn về cơ chế hoạt động và các phát hiện chi tiết của ScamAgent, bạn có thể tham khảo tài liệu nghiên cứu gốc: ScamAgent: An Autonomous AI Framework for Multi-Turn Social Engineering Attacks.

Việc liên tục cập nhật và điều chỉnh các chiến lược bảo mật là thiết yếu để đối phó với sự phát triển nhanh chóng của các công cụ tấn công social engineering dựa trên AI.

Việc triển khai bản vá bảo mật cho các lỗ hổng tiềm ẩn trong LLM và hệ thống liên quan cũng là một phần không thể thiếu trong chiến lược phòng thủ toàn diện.