DAYJOB: Tax là phiên bản mới nhất của bộ benchmark DAYJOB, được thiết kế để đánh giá AI agents trong việc thực hiện các nhiệm vụ thuế phức tạp, nơi thông tin thường không đầy đủ và yêu cầu quyết định chuyên môn. Các môi trường mô phỏng 50 trường hợp, bao gồm 1,789 tệp tin, buộc các agents phải phân tích hồ sơ, phát hiện vấn đề tiềm ẩn và đưa ra khuyến nghị phù hợp.
Trong thử nghiệm, Claude Sonnet 5.5 đạt tỉ lệ thành công 10.8% trên bảng xếp hạng, theo sau là Claude Fable 5.1 (9.6%) và Claude Opus 5.5 (9.2%). Tiêu chuẩn pass@1 được đặt ở mức 95% rubric, nghĩa là một lần thử nghiệm phải đáp ứng ít nhất 95% các tiêu chí về tính toán, bằng chứng, vấn đề hậu quả và chất lượng sản phẩm cuối cùng. Ví dụ, trong một trường hợp, AI đã xác định đúng thời gian bán nhà để đáp ứng yêu cầu cư trú, nhưng không nhận ra hạn chót quan trọng, dẫn đến rủi ro tài chính.
Benchmark này mở rộng từ các lĩnh vực Healthcare và Finance sang thuế, bao gồm tám khu vực thực hành thuế khác nhau. Các nhiệm vụ yêu cầu agents không chỉ tính toán chính xác mà còn phải quyết định những gì cần điều tra, giải quyết mâu thuẫn dữ liệu và nhận diện thông tin thiếu sót.
Với kết quả này, cộng đồng AI và các nhà phát triển tại Việt Nam có thể tham khảo để cải thiện khả năng quyết định chuyên môn của mô hình, đồng thời nhận thức rõ hơn về giới hạn hiện tại của AI trong lĩnh vực thuế và các công việc tài chính phức tạp.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com