Để đánh giá khả năng làm việc nhóm của các LLM, một môi trường mô phỏng Pokémon Showdown 2v2 đã được xây dựng dưới dạng Gym. Mỗi trận đấu gồm bốn người chơi, mỗi người điều khiển một Pokémon, và các đại lý nhận mô tả bằng tiếng Anh cùng danh sách các hành động hợp lệ.
Trong thí nghiệm, mô hình Qwen3.8-27B được dùng để điều khiển cả hai Pokémon của một đội, đối đầu với bot tối đa sát thương. Khi hai đại lý được phép nói chuyện tự do, tỷ lệ thắng đạt 64%; khi không được nói chuyện, tỷ lệ chỉ còn 42%; và chỉ một tin nhắn mỗi bên cũng đạt 52%.
Việc trao đổi thông tin tiêu tốn chi phí: chế độ nói chuyện tự do tiêu tốn 978k token cho mỗi trận, gấp 3.8 lần so với chế độ không nói chuyện (259k token). Ngoài ra, môi trường còn phân biệt được sức mạnh mô hình: đội Qwen3.8-27B thắng 96% so với đội 2B và 74% so với đội 9B.
Kết quả cho thấy đối thoại thực sự cải thiện hiệu suất hơn việc chỉ dùng một mô hình duy nhất. Dự án sẽ mở rộng thành một benchmark có bảng xếp hạng và có thể được dùng để huấn luyện RL nhằm khuyến khích hành vi hợp tác.
Với cộng đồng AI Việt Nam, công cụ này hứa hẹn cung cấp một bệ phóng thực tiễn để thử nghiệm và cải thiện các agent đa đại lý, đồng thời thúc đẩy nghiên cứu về hợp tác AI trong môi trường trò chơi.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com