DeepSeek đã công bố DeepInfer, khung suy luận hiệu năng cao được thiết kế cho các mô hình LLM quy mô lớn. DeepInfer hiện đã được mở nguồn trên GitHub, cho phép các nhà phát triển triển khai suy luận offline với các tính năng cốt lõi cần thiết cho môi trường sản xuất.
Để bắt đầu, người dùng cần tạo môi trường Python 3.12 trống, kích hoạt nó, và thiết lập biến môi trường DEEPINFER_ACCELERATOR=nvidia (hoặc ascend cho nền tảng Ascend). Sau đó chạy ./build.sh để biên dịch. Khi chạy lần đầu, checkpoint mặc định deepseek-ai/DeepSeek-V4.1-Flash-1017 sẽ tự động tải về bộ nhớ cache của Hugging Face; người dùng cũng có thể chỉ định thư mục địa phương bằng DEEPINFER_HF_MODEL_DIR.
DeepInfer được đo hiệu năng trên 4 GPU SM100 cho giai đoạn prefill và 64 GPU cho giai đoạn decode, mỗi trong một domain scale‑up riêng. Các script benchmark như run_sweep.sh cho phép tái tạo các kết quả này. Framework này dựa chủ yếu trên vLLM, đồng thời lấy cảm hứng từ SGLang và TensorRT‑LLM, và đội ngũ DeepSeek đã cảm ơn các nhà phát triển của các dự án này.
Việc mở mã nguồn DeepInfer không chỉ giúp cộng đồng AI Việt Nam tiếp cận công cụ suy luận mạnh mẽ mà còn thúc đẩy việc tùy biến và tối ưu hoá trên hạ tầng nội bộ, giảm chi phí triển khai và tăng tốc độ đưa mô hình vào sản phẩm.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com