Ai2 vừa công bố bộ benchmark “Old Ideas, Novel Problems” để kiểm tra mức độ tin cậy của các LLM trong việc đánh giá tính mới của ý tưởng nghiên cứu khoa học.
Nhóm nghiên cứu đã xây dựng một pipeline tự động dựa trên các nhận xét của hội đồng ICLR 2026, thu thập 154 ý tưởng có độ mới cao và 145 ý tưởng có độ mới thấp, sau đó đưa chúng cho sáu “novelty judges” bao gồm các phiên bản GPT‑5 và Claude Opus/Sonnet.
Kết quả cho thấy việc thay đổi chỉ một vài từ trong prompt có thể làm độ chính xác của mô hình thay đổi hơn 50 %, và việc bổ sung truy xuất tài liệu hay reasoning không luôn cải thiện kết quả. Thậm chí, hai hệ thống đánh giá tính mới được thiết kế riêng còn kém hơn so với một prompt đơn giản của Claude Opus 4.6.
- Six LLM được thử: GPT‑5.1, GPT‑5.2, GPT‑5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6.
- Thay đổi prompt: ảnh hưởng tới độ chính xác > 50 %.
- Retrieval và reasoning: không nhất quán trong việc nâng cao độ tin cậy.
Ý nghĩa: Khi AI ngày càng tham gia vào quá trình khám phá khoa học, cộng đồng AI Việt Nam cần các công cụ đánh giá đáng tin cậy hơn để tránh việc các mô hình đưa ra “đánh giá mới” sai lệch, gây lãng phí nguồn lực nghiên cứu.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com