Startup công nghệ Circuit Breaker Labs, một trong những doanh nghiệp lọt vào chung kết TechCrunch Startup Battlefield 200, vừa giới thiệu giải pháp kiểm thử an toàn AI nhằm bảo vệ người dùng khỏi các rủi ro tâm lý. Công ty tạo ra các agent mô phỏng đóng vai trò như những con bù nhìn thử nghiệm va chạm (crash-test dummies) để đánh giá khả năng phản ứng của mô hình trước các tình huống giao tiếp nguy hiểm.
Được thành lập bởi hai chị em Shirali Nigam (CEO) và Arul Nigam (CTO), startup này xuất phát từ thực trạng nhiều vụ kiện liên quan tới các chatbot của Character.AI hay ChatGPT đã gián tiếp gây ra tổn thương tâm lý hoặc hành vi tự hại ở người trẻ tuổi. Công nghệ của Circuit Breaker Labs kết hợp với các chuyên gia để tạo ra hàng trăm ngàn cuộc trò chuyện mô phỏng mỗi ngày, bao phủ nhiều độ tuổi, ngôn ngữ, khẩu ngữ và cả lỗi chính tả nhằm thực hiện kiểm thử xâm nhập (red-team).
Hệ thống sẽ chấm điểm và cung cấp báo cáo có tính giải thích cao, giúp các ứng dụng AI trong lĩnh vực chăm sóc sức khỏe tinh thần hay đồng hành tâm lý kiểm soát được bối cảnh hội thoại và phản hồi an toàn. Giải pháp này hỗ trợ các nhà phát triển khắc phục điểm yếu khi model hiểu sai từ ngữ lóng hoặc ngữ cảnh tự nhiên của người dùng.
Đây là giải pháp mang tính đột phá cho cộng đồng phát triển AI tại Việt Nam, gợi mở tiêu chuẩn mới trong việc kiểm thử an toàn tâm lý cho các ứng dụng chatbot dành cho trẻ em và người tiêu dùng.
Nguồn: TechCrunch — Biên dịch & tổng hợp: danhbaai.com