llama.cpp 1.0.0 củng cố nền tảng AI local đa phần cứng

llama.cpp đã phát hành các thư viện phiên bản 1.0.0, đánh dấu một cột mốc quan trọng đối với hệ sinh thái AI local. Dự án cho phép chạy các LLM đa phương thức trên nhiều loại phần cứng, từ máy tính cá nhân đến server doanh nghiệp, nhờ quantization, các backend được tối ưu và triển khai C/C++ có tính di động.
Sau 3,5 năm phát triển, nhiều ứng dụng downstream đã phụ thuộc vào các interface của llama.cpp và ggml. Từ phiên bản 1.0.0, những thay đổi không tương thích ở cấp API và ABI của cả hai dự án sẽ được thể hiện bằng việc tăng major version. Cách đánh số này nhằm giúp developer nhận biết rõ hơn các thay đổi có thể ảnh hưởng đến ứng dụng và quy trình đóng gói.
ggml, engine machine learning phía dưới llama.cpp, được thiết kế để chạy trên gần như mọi loại phần cứng thông qua các backend chuyên biệt. Mỗi backend có thể được biên dịch thành dynamic library và tùy chọn nạp khi runtime. Hiện llama.cpp hỗ trợ hơn 150 biến thể kiến trúc model, cùng tất cả các phương pháp speculative decoding phổ biến.
Đội ngũ cũng tiếp tục mở rộng hạ tầng CI với HF Buckets, HF Jobs và các self-hosted runner có hỗ trợ từ NVIDIA, AMD, Qualcomm, Arm, IBM và Intel. Với người dùng Việt Nam, phiên bản này củng cố lựa chọn chạy AI riêng tư trên phần cứng sẵn có, giảm phụ thuộc vào cloud và mở rộng cơ hội xây dựng sản phẩm local.
Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.