Công cụ Bảo mật AI

Microsoft mã nguồn mở RAMPART và Clarity nhằm thắt chặt an ninh cho AI Agents

Trong một nỗ lực nhằm giúp các nhà phát triển xây dựng hệ thống AI an toàn hơn, Microsoft đã chính thức công bố hai công cụ mã nguồn mở mới: RAMPART và Clarity. Hai công cụ này được thiết kế để phát hiện lỗ hổng và rủi ro của các tác tử AI (AI Agents) ngay trong vòng đời phát triển phần mềm.

RAMPART: Nền tảng kiểm thử Red Teaming chuyên sâu

RAMPART (Risk Assessment and Measurement Platform for Agentic Red Teaming) là một khung kiểm thử bảo mật Pytest-native. Nó cho phép các kỹ sư viết và chạy các bài kiểm tra an ninh cho AI Agents, bao gồm cả các vấn đề độc hại và lỗi hành vi thông thường.

Chống Prompt Injection

Phát hiện và ngăn chặn các cuộc tấn công gián tiếp qua dữ liệu từ email, tệp tin hoặc trang web mà AI xử lý.

Ngăn rò rỉ dữ liệu

Kiểm tra các kịch bản AI vô tình trích xuất dữ liệu nhạy cảm ra bên ngoài thông qua các hành vi không kiểm soát.

Clarity: Đối tác tư duy hỗ trợ thiết kế an toàn

Khác với RAMPART tập trung vào kỹ thuật, Clarity đóng vai trò như một "bảng điều khiển tư duy cấu trúc". Công cụ này giúp nhà phát triển định hình phương pháp tiếp cận đúng đắn trước khi viết mã nguồn.

Hướng dẫn làm rõ vấn đề và khám phá giải pháp.
Phân tích các điểm thất bại tiềm ẩn (Failure Analysis).
Theo dõi các quyết định thiết kế để đảm bảo tính minh bạch.

Tầm nhìn của Microsoft về Bảo mật AI

Ram Shankar Siva Kumar, người sáng lập AI Red Team của Microsoft, nhấn mạnh rằng mục tiêu của các công cụ này là biến bảo mật AI từ một lần đánh giá cuối kỳ thành các tài sản kỹ thuật sống xuyên suốt vòng đời phát triển.

"Nếu PyRIT tối ưu cho việc khám phá hộp đen sau khi hệ thống hoàn thành, thì RAMPART được xây dựng dành cho các kỹ sư ngay trong quá trình xây dựng hệ thống."

Nguồn tham khảo: The Hacker News

Liên hệ đội ngũ ứng cứu sự cố TMGS

Microsoft ra mắt RAMPART và Clarity: Bộ đôi công cụ mã nguồn mở bảo mật AI Agents