Knowledge distillation – quá trình huấn luyện mô hình sinh viên nhỏ hơn để bắt chước mô hình giáo viên khổng lồ – đang trở lại là đề tài nóng trong cộng đồng AI.
Với sự bùng nổ của các LLM mã nguồn mở như gpt‑oss, Qwen hay Kimi, việc triển khai các mô hình hàng trăm tỷ tham số trở nên tốn kém: Kimi‑K3 cần khoảng 3 TB VRAM chỉ để tải. Để giảm chi phí, các công ty đã áp dụng distillation, nhưng bước distill thường tiêu tốn VRAM và GPU rất lớn vì cả giáo viên và sinh viên phải đồng thời tồn tại trong bộ nhớ.
Bài báo Efficient Knowledge Distillation for LLMs: Offline Top‑K Logits and a Fused Chunked KL Loss đưa ra hai cải tiến quan trọng: (1) lưu trữ trước top‑K logits của giáo viên, nhờ đó giáo viên không cần được giữ trong bộ nhớ trong suốt quá trình huấn luyện; (2) sử dụng hàm mất KL chia thành các khối (chunked) để tránh tạo ma trận kích thước vocab‑size × seq‑len, giảm nhu cầu VRAM từ ~250 GB xuống còn khoảng 128 GB trên một GPU H200.
- Ví dụ: với gpt‑oss‑120b (vocab 201 088), một batch 4 và độ dài chuỗi 32K, tensor xác suất của giáo viên tiêu tốn ~50 GB VRAM.
- Phương pháp offline chỉ cần tính toán giáo viên một lần, lưu top‑100 token cho mỗi vị trí, giảm chi phí tính toán và bộ nhớ.
Kết quả cho thấy việc distill trên một GPU duy nhất trở nên khả thi, mở ra cơ hội thực hiện các thí nghiệm với ngữ cảnh dài và mô hình lớn mà không cần hàng trăm GPU. Điều này không chỉ giảm chi phí mà còn thúc đẩy nghiên cứu mở rộng và áp dụng LLM trong các ứng dụng thực tiễn tại Việt Nam.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com