Một nhà nghiên cứu đã chứng minh rằng gzip — thuật toán nén dữ liệu quen thuộc — có thể hoạt động như một language model để sinh văn bản, hoàn toàn không cần neural network, không cần weight hay training. Ý tưởng xuất phát từ bài báo “Language Modeling is Compression” với nguyên lý: mọi thuật toán nén đều là một prediction model, và ngược lại.
Cách hoạt động dựa trên nền tảng lý thuyết thông tin: một compressor dùng ít byte cho dữ liệu nó “kỳ vọng” và nhiều byte cho dữ liệu bất ngờ. Gzip sử dụng thuật toán DEFLATE với cửa sổ trượt 32 KiB — nếu đoạn tiếp theo giống nội dung đã có trong cửa sổ, nó được mã hóa rất rẻ dưới dạng back-reference. Điều này tương đương với việc gán xác suất cao cho đoạn văn bản đó.
Tác giả xây dựng công cụ gzipt, hoạt động bằng cách nạp corpus (ví dụ tác phẩm Shakespeare) vào cửa sổ nén của gzip, sau đó dùng beam search trên các byte sequence để tìm đoạn tiếp theo nén tốt nhất. Một thách thức kỹ thuật là gzip chỉ trả về độ dài nén dạng số nguyên byte, khiến việc chọn từng byte đơn lẻ gặp nhiều trường hợp hòa do quantization noise. Giải pháp là đánh giá cả một span nhiều byte trước khi quyết định, và chỉ giữ phần tail gần nhất của output trong scoring context vì DEFLATE ưu tiên các match gần hơn.
Kết quả khi thử với tập dữ liệu tiny Shakespeare cho thấy gzipt tạo ra văn bản có cấu trúc rõ ràng — đúng định dạng kịch bản với tên nhân vật, xuống dòng hợp lý — dù nội dung chưa thực sự mạch lạc. Đây là minh chứng ấn tượng rằng bên trong mọi compressor đều ẩn chứa một probability model.
Thí nghiệm này mang ý nghĩa giáo dục quan trọng cho cộng đồng AI Việt Nam, giúp hiểu sâu hơn mối quan hệ nền tảng giữa nén dữ liệu và language modeling — hai khái niệm tưởng chừng không liên quan nhưng thực chất là hai mặt của cùng một bài toán trong lý thuyết thông tin.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com