LLM chơi thử TIS-100 từ Zachtronics

Hacker News · 1 phút đọc
llm choi thu tis 100 tu zachtronics

Trong bài viết mới, các nhà nghiên cứu đã giao thử thách TIS-100 của Zachtronics cho 16 mô hình LLM, bao gồm cả các mô hình frontier và open-weight, yêu cầu họ cải thiện chương trình mà không cần xem bảng xếp hạng cộng đồng.

Mỗi mô hình cố gắng giải 47 câu chính và 8 câu tournament, mỗi câu được đánh giá qua số vòng, node và lệnh, với thời gian từ 10 đến 45 phút tùy độ khó. Kết quả cho thấy Opus 5.5 và GPT-6 Astra giải hết 55 câu và đạt được 11 điểm new frontier, trong khi Gemini 3.8 Flash giải 53 câu, Fable 5.1 giải 52 câu.

Kết quả thống kê:

  • Opus 5.5: 55/55 puzzle solved, 72 new frontier points.
  • GPT-6 Astra: 55/55 puzzle solved, 32 new frontier points, record proximity 78.0.
  • Gemini 3.8 Flash: 53/55 solved, 1 new frontier point.
  • Fable 5.1: 52/55 solved, 5 new frontier points.

Đánh giá dựa trên record proximity và các hypervolume settings cho thấy GPT-6 Astra dẫn đầu, trong khi khoảng cách 95% bootstrap interval của khoảng cách proximity bao gồm zero, từ -0.7 tới +2.4 điểm.

Việc sử dụng một trò chơi lập trình thực tế như TIS-100, kết hợp với 100.000 test input độc lập, cung cấp một chuẩn đoán chặt chẽ cho khả năng tổng quát của các mô hình LLM, góp phần vào việc nâng cao năng lực AI tại cộng đồng người dùng Việt Nam.

Bài gốc · tis-100.wincon.devĐọc bài gốc tại Hacker News

Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.