OpenAI đề xuất Perplexity làm thước đo chung để đánh giá tiến bộ AI

OpenAI · 2 phút đọc
openai de xuat perplexity lam thuoc do chung de danh gia tien bo ai

OpenAI vừa đăng tải bài viết “Perplexity and Intelligence”, đề xuất thiết lập Perplexity (độ bối rối – hay cross-entropy loss) làm thước đo khoa học chung để so sánh tiến độ pretraining giữa các nhà phát triển model lớn. Thay vì chỉ nhìn vào benchmark downstream (như MMLU, HumanEval) thay đổi liên tục, Perplexity đo lường trực tiếp khả năng dự đoán token tiếp theo của model trên tập dữ liệu held-out – chỉ số cốt lõi phản ánh chất lượng “trí tuệ nền tảng” (intelligence substrate) của model.

Bài viết công khai biểu đồ perplexity nội bộ của OpenAI từ GPT-3.5 đến các model mới nhất. GPT-2 (log-perplexity cao) chỉ viết được đoạn văn mạch lạc; GPT-3 học được in-context learning; GPT-3.5 (~0.99) cho ra ChatGPT đầu tiên; GPT-4 (~0.91) mở ra khả năng chain-of-thought reasoning; và hiện tại dưới ngưỡng 0.8 đã thấy xuất hiện khả năng biến đổi trong an ninh mạng và toán học cao cấp. OpenAI nhấn mạnh: không thể dự đoán trước được các khả năng emergent này sẽ bật lên tại ngưỡng perplexity nào – chúng tự nhiên nảy sinh từ việc nén dữ liệu tốt hơn.

Quyết định công khai dữ liệu nội bộ mang lại rủi ro cạnh tranh (competitor nắm rõ vị trí OpenAI), nhưng công ty cho rằng việc xây dựng “cơ sở khoa học chung” cho an ninh AI (shared safety standards) quan trọng hơn. Họ kêu gọi ngành công nghiệp thống nhất phương pháp đo lường pacing (tốc độ tiến triển) để cùng quản trị rủi ro khi model ngày càng mạnh.

Đối với cộng đồng AI Việt Nam – từ researcher, engineer đến startup fine-tune model – việc hiểu và theo dõi Perplexity như một “chỉ số vàng” giúp đánh giá khách quan tiến độ pretraining mà không bị cuốn theo marketing benchmark. Nó cũng nhắc nhở rằng đầu tư vào data quality và compute để hạ perplexity pretraining vẫn là con đường king’s road đến các khả năng breakthrough, thay vì chỉ tập trung vào RLHF hay prompt engineering bề mặt.

Bài gốc · openai.comĐọc bài gốc tại OpenAI

Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.