Salvatore Sanfilippo, cha đẻ của hệ thống lưu trữ dữ liệu Redis nổi tiếng, vừa chính thức phát hành DwarfStar 4 (ds4) – một inference engine gọn nhẹ viết bằng ngôn ngữ C nhằm hỗ trợ chạy các mô hình ngôn ngữ lớn (LLM) trực tiếp trên máy tính cá nhân. Dự án phát hành theo mã nguồn mở MIT, hướng tới các dòng máy dung lượng RAM cao như Mac Silicon (sử dụng Metal), cũng như phần cứng hỗ trợ CUDA và ROCm.
ds4 tập trung giải quyết bài toán chạy các mô hình Mixture-of-Experts (MoE) lớn như DeepSeek V4, V4.1 Flash, GLM 5.x hay Qwen3.8 Flash Next. Nhờ kỹ thuật lượng hóa bất đối xứng (asymmetric quantization), ds4 nén các routed expert nhưng giữ nguyên độ chính xác của các luồng xử lý quan trọng. Công cụ còn tích hợp tính năng lưu trữ prefix cache lâu dài xuống ổ SSD dựa trên prompt hash, giúp bỏ qua bước prefill khi khởi động lại. Hệ sinh thái ds4 bao gồm ba lệnh chính: ./ds4 cho trò chuyện, ./ds4-server để cung cấp HTTP API cục bộ và ./ds4-agent hỗ trợ các phiên lập trình tự động.
Về mặt hiệu năng, thử nghiệm trên máy M5 Max RAM 128GB với context window 32K đạt tốc độ sinh token 34.4 t/s và prefill lên tới 557 t/s. Đây là tin vui lớn cho cộng đồng lập trình viên và các kỹ sư AI tại Việt Nam, mang đến giải pháp tự chủ hạ tầng chạy LLM và AI agent hoàn toàn offline với chi phí phần cứng tối ưu.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com