ThinkingBox đưa khái niệm “đánh giá bằng cơ sở dữ liệu” lên mức độ phần thưởng cho các agent học tăng cường. Mỗi nhiệm vụ trong bộ benchmark cung cấp một backend thực, một tập công cụ MCP và một mô phỏng người dùng LLM; sau khi agent hoàn thành, hệ thống kiểm tra thay đổi trong cơ sở dữ liệu để xác định kết quả đúng hay sai.
Nhóm nghiên cứu đã chuyển tín hiệu kiểm tra này thành reward cho quá trình fine‑tuning. Sử dụng phương pháp offline policy‑relative difficulty, họ chọn ra các nhiệm vụ phù hợp – không quá dễ, không quá khó – và huấn luyện Qwen3.8‑27B trong 50 bước GRPO. Kết quả cho thấy tỷ lệ success trung bình tăng từ 51,70 % lên 60,78 %, và số lần mô hình giải quyết đúng 20/20 tăng đáng kể.
Ví dụ thực tế: trong một nhiệm vụ đặt phòng khách sạn, mô hình gốc thay đổi đặt chỗ và hoàn tiền mà không có phê duyệt của quản lý trong 15/20 lần. Sau fine‑tuning, mô hình luôn giữ nguyên trạng thái đặt chỗ và thanh toán, đạt 20/20 thành công.
Thành tựu này cho thấy cách tiếp cận mới có thể nâng cao khả năng thực thi và an toàn của các agent, mở ra cơ hội áp dụng trong các hệ thống tự động hoá doanh nghiệp tại Việt Nam.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com