Các nhà nghiên cứu vừa công bố mã nguồn chính thức cho LittleBit và LittleBit-2, hai công trình nghiên cứu lần lượt được chấp nhận tại hội nghị NeurIPS 2025 và ICML 2026. Đây là kỹ thuật lượng hóa cực hạn giúp nén các mô hình ngôn ngữ lớn (LLM) xuống mức sub-1-bit (dưới 1-bit cho mỗi trọng số, thậm chí đạt mức 0,1 bits-per-weight) mà không làm thay đổi kiến trúc mô hình khi chạy suy luận.
Kỹ thuật LittleBit hoạt động bằng cách phân tích các ma trận trọng số dày đặc thành các nhân tố ẩn thứ hạng thấp (low-rank latent factors), nhị phân hóa các nhân tố này và phục hồi thông tin độ lớn thông qua các hệ số tỷ lệ siêu nhẹ. Phiên bản nâng cấp LittleBit-2 giải quyết vấn đề lệch hình học ẩn trong bước khởi tạo bằng phương pháp Xoay nhân tố ẩn nội bộ kết hợp Lượng hóa lặp đồng thời (Joint-ITQ), căn chỉnh các nhân tố từ SVD với khối siêu lập phương nhị phân trước khi huấn luyện nhận biết lượng hóa (QAT).
Mã nguồn dự án đã được chia sẻ công khai, hỗ trợ khởi tạo LittleBit-2 qua tùy chọn lệnh đơn giản và chạy trên nền tảng PyTorch cùng thư viện Transformers. Đáng chú ý, phương pháp khởi tạo mới không làm phát sinh thêm bất kỳ chi phí tính toán nào trong quá trình suy luận thực tế.
Đối với cộng đồng phát triển AI Việt Nam, kỹ thuật nén mô hình dưới 1-bit này mở ra triển vọng to lớn trong việc triển khai các LLM mạnh mẽ lên các thiết bị phần cứng hạn chế tài nguyên hoặc tối ưu chi phí vận hành máy chủ GPU.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com