CÔNG CỤ MÃ NGUỒN MỞ

Microsoft phát hành RAMPART và Clarity: Bước tiến mới trong bảo mật AI Agent

Gã khổng lồ công nghệ Microsoft vừa chính thức ra mắt hai công cụ mã nguồn mở mới nhằm hỗ trợ cộng đồng nhà phát triển kiểm thử và đảm bảo an toàn cho các tác nhân AI (AI Agents) ngay từ những giai đoạn đầu của quy trình phát triển phần mềm.

Tổng quan về RAMPART và Clarity

Bộ đôi công cụ này được thiết kế để giải quyết các thách thức bảo mật đặc thù của hệ sinh thái AI đang phát triển nhanh chóng, giúp các đội ngũ kỹ thuật chủ động phòng ngừa thay vì chỉ phản ứng với các sự cố.

RAMPART

Viết tắt của Risk Assessment and Measurement Platform for Agentic Red Teaming. Đây là một khung thử nghiệm dựa trên Pytest, cho phép viết và chạy các bài kiểm tra bảo mật cho AI Agent, bao gồm cả các cuộc tấn công đối kháng (Adversarial) và các lỗi hành vi ngoài ý muốn.

Clarity

Được mô tả là một "đối tác tư duy AI", Clarity giúp lập trình viên làm rõ phương pháp tiếp cận trước khi viết mã. Nó hướng dẫn người dùng qua quá trình phân tích lỗi, khám phá giải pháp và theo dõi các quyết định thiết kế quan trọng.

Tính năng cốt lõi và ứng dụng

RAMPART cho phép các chuyên gia bảo mật và kỹ sư mô phỏng các tình huống vi phạm an toàn như cross-prompt injections - nơi dữ liệu không đáng tin cậy xâm nhập vào hệ thống AI thông qua các nguồn gián tiếp như email hoặc trang web. Công cụ này được xây dựng dựa trên nền tảng PyRIT đã ra mắt trước đó của Microsoft.

Trong khi đó, Clarity tập trung vào giai đoạn sớm nhất của dự án. Theo Ram Shankar Siva Kumar, người sáng lập Microsoft AI Red Team: "Chúng tôi muốn mang đến cho các quản lý sản phẩm và kỹ sư một cách để thử nghiệm các giả định ngay khi dự án bắt đầu, thời điểm mà việc thay đổi lộ trình còn ít tốn kém."

HÀNH ĐỘNG KHẨN CẤP CHO DOANH NGHIỆP AI

Tích hợp RAMPART vào quy trình CI/CD để tự động hóa việc kiểm thử an toàn cho các tác nhân AI Agent.
Sử dụng Clarity trong giai đoạn thiết kế hệ thống để ghi lại các giả định bảo mật và đánh giá rủi ro từ sớm.
Chuyển đổi các bài học từ bài tập Red Teaming thành tài sản kỹ thuật có thể thực thi định kỳ.
Liên tục cập nhật các phương thức tấn công mới nhất vào bộ khung kiểm thử để đối phó với các mối đe dọa biến đổi không ngừng.

Nguồn tham khảo: The Hacker News

LIÊN HỆ ĐỘI NGŨ ỨNG CỨU SỰ CỐ TMGS

Microsoft ra mắt bộ công cụ RAMPART và Clarity bảo mật AI Agent