Hugging Face giới thiệu Harness Adapter: tối ưu model cho agent harness cụ thể

Hugging Face · 1 phút đọc
hugging face gioi thieu harness adapter toi uu model cho agent harness cu the

Hugging Face giới thiệu khái niệm Harness Adapter — một LoRA adapter được huấn luyện bằng Reinforcement Learning (RL) bên trong chính agent harness mà model sẽ triển khai, thay vì huấn luyện trên môi trường mô phỏng riêng. Mục tiêu: nén hết hiệu năng của model cho cặp harness + phân phối task cụ thể.

Thử nghiệm trên Qwen3-8B-27B cho thấy: với harness Pi, điểm Terminal-Bench 2.1 pass@1 tăng từ 39% lên 55%, trong khi token trung bình/task giảm từ 2.9K xuống 1.5K. Cải thiện chủ yếu nhờ model suy luận ít hơn, gọi ít tool hơn và làm đúng từ lần đầu. Hugging Face kiểm tra trên 3 harness thực tế: Pi 1.5.2, OpenCode 2.2.7, Hermes Agent v0.22.6, sử dụng Harbor integration trong OpenEnv và TRL.

Khác với các framework RL truyền thống (verl, SkyRL-Gym, rLLM, slime, ART) viết lại vòng lặp agent, cách này chạy harness nguyên bản, trainer học từ chính token mà harness sinh ra, được ghi lại bởi proxy giữa harness và vLLM. Quy trình dữ liệu kết hợp: truy xuất task từ Hub, sinh task với Repo2RLEnv (Tasksmith), xác thực với OpenEnv, lấy mẫu thành pipeline thống nhất.

Đối với lập trình viên Việt Nam xây dựng AI agent viết code, Harness Adapter mở ra hướng đi thực tế: thay vì fine-tune model chung, hãy train adapter nhẹ cho chính harness production của mình — tiết kiệm chi phí GPU, giảm latency inference, và tăng độ tin cậy cho task thực tế (code generation, refactor, bug fix) mà team đang đối mặt hàng ngày.

Bài gốc · huggingface.coĐọc bài gốc tại Hugging Face

Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.