TensorFold chạy LLM trực tiếp trên Apple Silicon và GPU NVIDIA

GitHub Trending · 1 phút đọc
tensorfold chay llm truc tiep tren apple silicon va gpu nvidia
Số liệu mới nhất Tự động cập nhật · 16/11/2026 · ashhart/TensorFold
GitHub
Sao GitHub 2.267 +324 trong 30 ngày
Fork 524 Lượt sao chép dự án
Issue đang mở 644 Lỗi & đề xuất chưa xử lý
Commit gần nhất Hôm nay Đang phát triển tích cực

Từ khi bài viết đăng (13/11/2026): +324 sao (1.943 → 2.267)

Tăng trưởng sao
13/11/2026: 1.943 sao15/11/2026: 2.167 sao16/11/2026: 2.267 sao
13/11/2026 · 1.943 ★16/11/2026 · 2.267 ★

Danh Bạ AI bắt đầu theo dõi repo này từ 13/11/2026; biểu đồ sẽ chi tiết dần theo thời gian.

TensorFold là inference engine cho LLM được viết bằng Zig, hướng tới việc phục vụ language model trên Apple Silicon và GPU NVIDIA. Công cụ đọc checkpoint, tokenizer request và chạy trực tiếp các kernel Metal hoặc CUDA, cho phép người dùng serving model từ một binary Zig mà không cần cài Python hay MLX.

Repository khuyến nghị bắt đầu với checkpoint Qwen3.5-2B bản 4-bit từ mlx-community, đã được kiểm tra trên Metal và GB10. Người dùng có thể cài TensorFold qua Homebrew, tải revision được ghim rồi chạy model cục bộ với tên local-model, context 8.192 token và tùy chọn tắt thinking. Model weights vẫn tuân theo giấy phép riêng, vì vậy cần kiểm tra điều khoản trước khi sử dụng.

Trên Linux dùng GPU NVIDIA, dự án cung cấp archive riêng cho kiến trúc aarch64 và x86_64. Bản phát hành yêu cầu glibc 2.28 trở lên, driver NVIDIA R580 trở lên và CUDA 13.0; kernel được build với CUDA 13 nên TensorFold sẽ từ chối khởi động nếu driver cũ hơn. Tài liệu cũng hướng dẫn kiểm tra checksum trước khi giải nén và thêm binary vào PATH.

TensorFold đáng chú ý ở cách đưa các thành phần inference xuống gần lớp phần cứng, giảm phụ thuộc vào hệ sinh thái Python quen thuộc. Với người dùng Việt Nam muốn chạy LLM local trên Mac hoặc máy có GPU NVIDIA, dự án có thể là một lựa chọn gọn nhẹ để thử nghiệm, nhưng khả năng tương thích thực tế vẫn phụ thuộc model, driver và phần cứng.

Bài gốc · github.comĐọc bài gốc tại GitHub Trending

Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.