StarSkirmish Bench v0.2 là một môi trường đánh giá mới, trong đó mỗi LLM có 1 giờ thực thi để viết một bot StarCraft dựa trên bộ khung BWAPI 4.4.0 và OpenBW. Các mô hình của OpenAI, Anthropic, Google và Meta được chạy trên CLI nội bộ của từng lab, sau đó đấu với một danh sách các bot viết bởi con người và các bot demo.
Kết quả nổi bật: GPT‑6 Astra đạt điểm cao nhất, tiếp theo là GPT‑6.1 Sol và sau đó là Gemini 4 Argon, Claude Opus 5.5 và Claude Fable 5.1. Các mô hình này ghi được tỉ lệ thắng trung bình từ 37 % đến 39 % so với các bot mạnh như Stardust, PurpleWave và BananaBrain. Về chi phí, GPT‑6.1 Sol nằm trong góc hấp dẫn nhất, chỉ tốn hơn 1/10 chi phí của GPT‑6 Astra cho mỗi lần chạy.
Phân tích sâu hơn cho thấy yếu tố quyết định điểm số chính là số lượng trận luyện tập với 7 bot mạnh nhất trong danh sách. Gemini 4 Argon luyện tập sớm nhưng biến động điểm số lớn (chênh lệch 18 điểm giữa các lần chạy), trong khi GPT‑6 Astra ổn định hơn. Các bot do con người viết vẫn thắng rõ rệt, chỉ có 7 % thắng khi đối đầu với GPT‑6 Astra.
Nhận định: Kết quả này khẳng định LLM chưa thể thay thế các bot chuyên dụng trong trò chơi chiến lược, nhưng Bench cung cấp dữ liệu quý giá để các nhà nghiên cứu Việt Nam định hướng cải tiến khả năng lập trình tự động và suy luận thời gian thực của mô hình.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com