Nhóm nghiên cứu AI đã công bố Benchmark Map – một bản đồ trực quan mô tả mức độ bao phủ của các benchmark AI đối với 923 nghề trong hệ thống O*NET của Mỹ, chia thành 22 nhóm nghề. Mỗi ô trên bản đồ đại diện cho một nghề, được tô màu theo tỷ lệ phần trăm các nhiệm vụ của nghề đó xuất hiện trong danh sách 29 benchmark được chọn.
Trong dữ liệu, chỉ có 208 nghề (khoảng 22,5%) có ít nhất một nhiệm vụ được ánh xạ vào 5 đề bài benchmark trở lên. Đáng chú ý, 6 nhóm nghề không có bất kỳ nghề nào đạt tiêu chuẩn này. Điều này đồng nghĩa với việc 90% giờ làm việc của người Mỹ đang thực hiện các nhiệm vụ mà các benchmark hiện tại hầu như không đề cập.
Phân tích sâu hơn cho thấy sự tập trung không ngẫu nhiên: các benchmark ưu tiên các thị trường lao động lớn và có mức lương cao. Ví dụ, các nhiệm vụ của luật sư được bao phủ tốt, trong khi các nhiệm vụ của thư ký pháp lý hay nhân viên tòa án – dù có mức độ tiếp xúc AI tương tự – lại gần như không được đề cập.
Những khoảng trống này làm cho việc đo lường thực tế năng lực AI trở nên khó khăn, đặc biệt khi các doanh nghiệp và nhà hoạch định chính sách muốn hiểu AI có thể thay thế hay hỗ trợ công việc nào. Đối với cộng đồng AI Việt Nam, bản đồ này là lời nhắc quan trọng về việc cần phát triển các benchmark đa dạng, phản ánh thực tế công việc trong nước, để AI có thể được áp dụng hiệu quả hơn.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com