Một nghiên cứu đánh giá mới đây đã thử nghiệm khả năng của các AI coding agent (dựa trên mô hình GPT-5.6 Sol) trong việc áp dụng các kỹ thuật kiểm thử và xác thực phần mềm khi triển khai thư viện Zstd bằng ngôn ngữ Rust. Cuộc khảo sát so sánh 26 điều kiện prompt khác nhau, từ việc yêu cầu agent dùng Phát triển hướng kiểm thử (TDD), Kiểm thử dựa trên tính chất (Property-based testing), Fuzzing cho đến các phương pháp kiểm chứng chính thức (Formal methods) như Lean 4, TLA+ hay Alloy.
Kết quả thực nghiệm trên 80 lần chạy cho mỗi cấu hình mang lại nhiều bất ngờ cho cộng đồng phát triển phần mềm:
- Thiết lập mặc định hiệu quả cao: Việc không đưa thêm hướng dẫn kiểm thử đặc thù (Default prompt) lại đạt tỷ lệ vượt qua 100% bài kiểm thử ẩn cao hơn mức trung bình.
- Fuzzing và PBT chiếm ưu thế: Ở mức nỗ lực tính toán cao (xhigh effort), các kỹ thuật Fuzzing và Property-based testing đạt hiệu suất tốt hơn so với các phương pháp kiểm chứng chính thức.
- Kỹ năng bên thứ ba kém hiệu quả: Các skill kiểm thử phổ biến được gợi ý lại khiến agent hoạt động kém hơn so với mặc định, ngoại trừ một số prompt tùy chỉnh ngắn gọn giúp điều chỉnh hành vi của AI.
Thử nghiệm này cho thấy việc ép buộc AI agent sử dụng các quy trình kiểm thử phức tạp không phải lúc nào cũng mang lại mã nguồn chất lượng cao hơn. Đối với lập trình viên và các đội ngũ phát triển tại Việt Nam, kết quả này là gợi ý quan trọng: thay vì nhồi nhét quá nhiều yêu cầu kỹ thuật vào prompt, việc tối ưu hóa quy trình làm việc tự nhiên và tận dụng năng lực mặc định của LLM sẽ mang lại hiệu quả chi phí và độ chính xác tốt hơn.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com