BitNet ra mắt phiên bản VibeASR.cpp – một engine nhận dạng giọng nói đa ngôn ngữ chạy thời gian thực trên CPU sử dụng quantization I2_S, đạt RTF < 1 với ít threads trên nền tảng x86 và ARM. Công ty Microsoft cũng giới thiệu BitNet-embedding-0.6B và BitNet-embedding-270M – hai mô hình nhúng chỉ dùng 1 bit đầu tiên trên Hugging Face.
- Tối ưu hóa hiệu suất: bitnet.cpp đạt tốc độ nhanh hơn 1.37x đến 5.07x trên CPU ARM, giảm tiêu thụ năng lượng 55.4% đến 70%.
- Hỗ trợ đa nền tảng: chạy được trên CPU x86, ARM và sắp hỗ trợ NPU với tốc độ tương đương người đọc cho mô hình 100B.
- Mô hình mới: ra mắt BitNet b1.58-2B-4T với 2.4 tỷ tham số, đồng thời các mô hình nhúng 0.6B và 270M.
Các cải tiến mới như kernel tối ưu hóa CPU và hỗ trợ quantization I2_S giúp BitNet đạt được sự cải thiện đáng kể về hiệu suất. Phiên bản mới nhất cho phép chạy mô hình 100B trên một CPU duy nhất với tốc độ tương đương người đọc (5-7 token/giây). Các mô hình nhúng mới như BitNet-embedding-0.6B và 270M giúp giảm đáng kể dung lượng bộ nhớ và thời gian suy luận.
Với khả năng giảm tiêu thụ năng lượng đến 82.2% và tốc độ nhanh hơn 6.17x trên x86, BitNet mở ra một kỷ nguyên mới cho việc triển khai các mô hình LLG trên thiết bị địa phương. Các nhà phát triển và doanh nghiệp Việt Nam có thể khai thác trọng hạn của công nghệ này để xây dựng các ứng dụng AI hiệu quả và bền vững.
Nguồn: GitHub Trending — Biên dịch & tổng hợp: danhbaai.com