Dự án nguồn mở Jevman vừa ra mắt đã mang đến một phương pháp đánh giá mô hình AI đầy thú vị thông qua trò chơi điện tử cổ điển Pac-Man. Trong thử nghiệm ban đầu, 6 mô hình quyết định AI đã tham gia thi đấu 100 ván mỗi mô hình để đối đầu với những con ma trong game, tạo ra một bảng xếp hạng năng lực xử lý tình huống trực quan.
Jevman cho phép bất kỳ mô hình AI nào chạy qua giao thức HTTP — từ mô hình thương mại, mô hình tinh chỉnh (fine-tune) cho đến các model chạy cục bộ trên máy tính cá nhân — đều có thể tham gia. Tại mỗi ngã rẽ trong mê cung, hệ thống sẽ gửi trạng thái game dưới dạng dữ liệu JSON và yêu cầu AI trả lời hướng đi tiếp theo trong thời gian tối đa 2 giây. Quy định thi đấu tiêu chuẩn áp dụng 3 lượt chơi hoặc giới hạn thời gian 5 phút để đảm bảo tính công bằng.
Để ngăn chặn hành vi gian lận, hệ thống tích hợp công cụ kiểm tra tự động (CI) để phát lại từng trận đấu và xác minh lại điểm số trước khi đưa lên bảng xếp hạng chung. Mã nguồn dự án cũng cung cấp sẵn một ví dụ endpoint chỉ với 34 dòng code để người dùng dễ dàng thử nghiệm mô hình của riêng mình.
Đây là một công cụ benchmark trực quan và hữu ích cho các nhà nghiên cứu cũng như lập trình viên AI tại Việt Nam. Việc kiểm thử khả năng ra quyết định theo thời gian thực giúp đánh giá chính xác độ trễ và khả năng phản xạ của mô hình AI trước khi triển khai vào các ứng dụng thực tế trong đời sống.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com