Bộ công cụ đánh giá mới mang tên Real-SWE vừa được ra mắt nhằm kiểm thử năng lực thực tế của các mô hình AI tiên tiến nhất hiện nay trên các hệ thống mã nguồn (codebase) độc quyền từ các doanh nghiệp. Thay vì sử dụng các bài toán tổng hợp hoặc thiết kế riêng cho mục đích thử nghiệm, Real-SWE cấp bản quyền bài toán trực tiếp từ các sản phẩm đang vận hành thực tế của các công ty công nghệ.
Điểm khác biệt cốt lõi của Real-SWE nằm ở hai yếu tố: cấu trúc mã nguồn thực tế và độ chi tiết của các câu lệnh (instruction). Những bài toán trong bộ benchmark này phản ánh đầy đủ bối cảnh, sự phức tạp và các phụ thuộc trong môi trường doanh nghiệp mà kỹ sư phần mềm phải đối mặt hàng ngày. Bên cạnh đó, hệ thống thử nghiệm cũng tích hợp bộ khung (native harness) tương tự như quy trình làm việc chuẩn của doanh nghiệp để đánh giá chính xác sự kết hợp giữa mô hình và công cụ hỗ trợ.
Sự ra đời của Real-SWE đánh dấu bước tiến quan trọng trong việc đo lường khả năng thay thế hoặc hỗ trợ lập trình viên của các AI agent. Đối với cộng đồng lập trình viên và doanh nghiệp công nghệ tại Việt Nam, đây là thước đo thực tế giúp các đội ngũ kỹ thuật lựa chọn mô hình AI phù hợp nhất để tích hợp vào quy trình phát triển phần mềm doanh nghiệp.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com