Một phân tích trên Hugging Face cho thấy agent harness có thể ảnh hưởng mạnh đến kết quả, ngay cả khi model không đổi. Nhóm nghiên cứu chạy CUGA, Hermes và Deep Agents trên 90 tác vụ AppWorld, sử dụng cùng open-weight model GLM-5.3-flash, cùng framework Harbor và mỗi tác vụ chỉ được thử một lần. Trong các so sánh rộng hơn, thay đổi harness từng khiến tỷ lệ hoàn thành tăng từ 30% lên 81%.
AppWorld bao gồm các tác vụ nhiều bước trên 9 ứng dụng và 457 API, trong đó có email, thanh toán và lưu trữ file. Đây là proxy cho một phần công việc tự động hóa enterprise, chẳng hạn đăng nhập, đọc tài liệu API, phân trang kết quả và thay đổi trạng thái qua nhiều ứng dụng. Ở chỉ số SGC, chỉ tính scenario khi cả ba biến thể của scenario đều hoàn thành, CUGA đạt 20 scenario, Hermes 8 và Deep Agents 2.
Kết quả không phải phán quyết tổng quát về chất lượng của Hermes hay Deep Agents. Hermes được xây dựng cho personal assistant hoạt động liên tục, còn Deep Agents phù hợp với tác vụ dài và nhiều bước như research; cả hai không được thiết kế riêng cho bài toán API đa ứng dụng của AppWorld. Thử nghiệm cũng chỉ dùng 90 tác vụ, các setup không hoàn toàn giống nhau và chưa đo policy enforcement.
CUGA là harness mã nguồn mở của IBM, hỗ trợ model open-weight hoặc hosted, triển khai trong môi trường riêng, sovereign cloud và air-gapped. Kiến trúc của nó có thể mở rộng từ một CugaAgent đến CugaSupervisor điều phối nhiều agent qua A2A. Với doanh nghiệp Việt Nam, nghiên cứu nhấn mạnh rằng chọn harness phải dựa trên workload, mức kiểm soát và môi trường triển khai, không chỉ dựa vào tên model.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com