Tự huấn luyện mô hình ngôn ngữ 64M tham số trong 2 giờ trên một GPU 3090

Danh Bạ AI bắt đầu theo dõi repo này từ 01/09/2026; biểu đồ sẽ chi tiết dần theo thời gian.
Dự án MiniMind của tác giả jingyaogong đang thu hút sự chú ý lớn trên GitHub Trending với hơn 66.000 sao. Khác với các hướng dẫn chỉ dạy cách fine-tune các mô hình lớn có sẵn bằng LoRA, MiniMind tập trung vào việc “xây dựng từ khối Lego”: cung cấp toàn bộ pipeline để train một LLM từ con số 0, bao gồm tokenizer, kiến trúc model, pretrain, SFT và evaluation.
Điểm nổi bật nhất là hiệu năng: chỉ cần ~2 giờ train SFT 1 epoch trên đơn lẻ NVIDIA RTX 3090 (24GB VRAM), chi phí thuê GPU khoảng 3 CNY (khoảng 10.000 VNĐ). Phiên bản mới nhất MiniMind-3 đã tương thích với llama.cpp và vLLM để triển khai thực tế. Dự án cũng chuyển sang dùng SwanLab thay vì WandB để phù hợp với môi trường mạng tại Trung Quốc.
Kiến trúc model cực gọn nhẹ: 64M tham số, vocab size 6400, hidden dim 768, 16 layers, 8 attention heads. Dữ liệu pretrain bao gồm pretrain_t2t_mini.jsonl và sft_t2t_mini.jsonl đã được dọn sạch. Toàn bộ codebase viết thuần PyTorch, không phụ thuộc transformers/trl/peft, giúp người học nắm vững mọi dòng code core như attention, RoPE, RMSNorm, SwiGLU.
Với cộng đồng AI Việt Nam, MiniMind là tài liệu tham khảo cực kỳ quý giá cho sinh viên, researcher và engineer muốn hiểu bản chất LLM mà không cần cluster GPU hàng trăm nghìn USD. Việc run được end-to-end trên một card consumer mở ra khả năng thí nghiệm kiến trúc mới, test lý thuyết scaling law ở quy mô nhỏ trước khi deploy lớn.
Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.