Tự huấn luyện mô hình ngôn ngữ 64M tham số trong 2 giờ trên một GPU 3090

GitHub Trending · 1 phút đọc
tu huan luyen mo hinh ngon ngu 64m tham so trong 2 gio tren mot gpu 3090
Số liệu mới nhất Tự động cập nhật · 20/11/2026 · jingyaogong/minimind
GitHub
Sao GitHub 66.830 +1.469 trong 30 ngày
Fork 8.780 Lượt sao chép dự án
Issue đang mở 63 Lỗi & đề xuất chưa xử lý
Commit gần nhất 2 ngày trước Đang phát triển tích cực
Tăng trưởng sao
01/09/2026: 56.148 sao02/09/2026: 57.093 sao16/11/2026: 65.361 sao18/11/2026: 66.000 sao19/11/2026: 66.830 sao20/11/2026: 66.896 sao
01/09/2026 · 56.148 ★20/11/2026 · 66.896 ★

Danh Bạ AI bắt đầu theo dõi repo này từ 01/09/2026; biểu đồ sẽ chi tiết dần theo thời gian.

Dự án MiniMind của tác giả jingyaogong đang thu hút sự chú ý lớn trên GitHub Trending với hơn 66.000 sao. Khác với các hướng dẫn chỉ dạy cách fine-tune các mô hình lớn có sẵn bằng LoRA, MiniMind tập trung vào việc “xây dựng từ khối Lego”: cung cấp toàn bộ pipeline để train một LLM từ con số 0, bao gồm tokenizer, kiến trúc model, pretrain, SFT và evaluation.

Điểm nổi bật nhất là hiệu năng: chỉ cần ~2 giờ train SFT 1 epoch trên đơn lẻ NVIDIA RTX 3090 (24GB VRAM), chi phí thuê GPU khoảng 3 CNY (khoảng 10.000 VNĐ). Phiên bản mới nhất MiniMind-3 đã tương thích với llama.cpp và vLLM để triển khai thực tế. Dự án cũng chuyển sang dùng SwanLab thay vì WandB để phù hợp với môi trường mạng tại Trung Quốc.

Kiến trúc model cực gọn nhẹ: 64M tham số, vocab size 6400, hidden dim 768, 16 layers, 8 attention heads. Dữ liệu pretrain bao gồm pretrain_t2t_mini.jsonl và sft_t2t_mini.jsonl đã được dọn sạch. Toàn bộ codebase viết thuần PyTorch, không phụ thuộc transformers/trl/peft, giúp người học nắm vững mọi dòng code core như attention, RoPE, RMSNorm, SwiGLU.

Với cộng đồng AI Việt Nam, MiniMind là tài liệu tham khảo cực kỳ quý giá cho sinh viên, researcher và engineer muốn hiểu bản chất LLM mà không cần cluster GPU hàng trăm nghìn USD. Việc run được end-to-end trên một card consumer mở ra khả năng thí nghiệm kiến trúc mới, test lý thuyết scaling law ở quy mô nhỏ trước khi deploy lớn.

Bài gốc · github.comĐọc bài gốc tại GitHub Trending

Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.