Chạy mô hình MoE 180B trên GPU 24GB: Transformers, llama.cpp và vLLM đối đầu nhau như thế nào?

Hugging Face · 2 phút đọc
chay mo hinh moe 180b tren gpu 24gb transformers llama cpp va vllm doi dau nhau nhu the nao

Một nhà phát triển đã thực hiện bài test thực tế quan trọng: chạy mô hình MoE (Mixture of Experts) Qwen 3.6-35B-A3B trên một GPU đơn lẻ NVIDIA A10G 24GB VRAM với ba engine inference hàng đầu hiện nay. Mục tiêu là giải quyết bài toán “nhúng voi vào lỗ kim” – chạy mô hình khổng lồ trên phần cứng tiêu dùng có VRAM hạn chế, một nhu cầu rất thực của cộng đồng AI Việt Nam khi muốn tự host mô hình lớn tại nhà.

Ba giải pháp tiếp cận vấn đề offloading chuyên gia (expert offloading) hoàn toàn khác nhau. llama.cpp dùng mmap để ánh xạ file GGUF, cho phép giữ chuyên gia trên CPU (–cpu-moe) và tính toán ngay tại đó, chỉ chuyển activation qua PCIe. Tuy nhiên, khi RAM không đủ, page cache bị thrashing làm sập hiệu năng. vLLM dùng –cpu-offload-gb để ghim trọng số chuyên gia lên pinned RAM, kernel đọc trực tiếp qua PCIe; quan trọng hơn, flag –cpu-offload-params experts giúp chỉ offload phần chuyên gia, bỏ qua dense layer – tối ưu cho batch size 1. Transformers (qua Accelerate) offload theo module (layer), mỗi token phải copy toàn bộ bank chuyên gia của layer đó lên GPU dù chỉ dùng 8-10 chuyên gia, không có cache cũng không hiểu routing.

Kết quả benchmark trên A10G 24GB cho thấy: vLLM offload chỉ chuyên gia nhanh gấp đôi so với offload toàn bộ layer; thêm lượng tử hóa FP8 (giảm 50% dung lượng chuyên gia) đẩy tốc độ cao hơn nữa. llama.cpp ổn định khi chuyên gia vừa RAM, nhưng fragment graph khi bật GPU expert cache. Transformers chậm nhất do overhead copy lớn và không tận dụng bản chất sparse của MoE. Trên MacBook M4 32GB unified memory, Strata (engine chuyên biệt MoE) đạt 13.5 tok/s với Qwen3.8-Flash-Next, nhanh hơn llama.cpp nhờ stream chuyên gia từ SSD.

Đối với người dùng Việt Nam muốn chạy mô hình 100B+ tại nhà trên RTX 4090 (24GB) hoặc MacBook Pro M-series, bài test này là tài liệu tham khảo quý giá: vLLM + FP8 expert offload là lựa chọn tối ưu cho server đơn GPU; llama.cpp phù hợp cho inference cục bộ đơn giản; Transformers hiện chưa sẵn sàng cho MoE offloading hiệu quả. Xu hướng streaming chuyên gia từ SSD (Strata, DeepSpeed-MII) hứa hẹn mở ra kỷ nguyên chạy mô hình 180B+ trên hardware tiêu dùng.

Bài gốc · huggingface.coĐọc bài gốc tại Hugging Face

Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.