Toolkit tối ưu và triển khai AI inference trên CPU, GPU, NPU của Intel

GitHub Trending · 1 phút đọc
toolkit toi uu va trien khai ai inference tren cpu gpu npu cua intel
Số liệu mới nhất Tự động cập nhật · 19/11/2026 · openvinotoolkit/openvino
GitHub
Sao GitHub 11.341 Cập nhật định kỳ
Fork 3.603 Lượt sao chép dự án
Issue đang mở 1.161 Lỗi & đề xuất chưa xử lý
Commit gần nhất Hôm qua Đang phát triển tích cực
Tăng trưởng sao
19/11/2026: 11.341 sao20/11/2026: 11.571 sao
19/11/2026 · 11.341 ★20/11/2026 · 11.571 ★

Danh Bạ AI bắt đầu theo dõi repo này từ 19/11/2026; biểu đồ sẽ chi tiết dần theo thời gian.

OpenVINO (repo openvinotoolkit/openvino, 11.500+ sao) là toolkit open source của Intel để optimize và deploy AI inference. Cài đặt đơn giản: `pip install -U openvino`. Hỗ trợ convert model từ PyTorch, TensorFlow, ONNX, TensorFlow Lite, PaddlePaddle, JAX/Flax sang định dạng OpenVINO IR (Intermediate Representation), sau đó compile cho target device: CPU, GPU, NPU của Intel.

Ví dụ điển hình: load PyTorch model (torchvision shufflenet), convert với `ov.convert_model()`, compile cho CPU với `core.compile_model()`, infer ngay. Tương tự cho TensorFlow Keras MobileNetV2. APIs có sẵn cho C++, Python, C, NodeJS. GenAI API chuyên biệt cho optimized LLM pipelines và performance.

Tài liệu bao gồm: User docs (install đến deploy), Developer docs (architecture, contributing), Samples (Python/C++), Notebooks (Jupyter), Benchmarks (performance verified). Awesome OpenVINO repo tập hợp community projects. Có Good First Issues cho contributor mới.

Với AI engineer Việt Nam, OpenVINO giải quyết bài toán deploy model trên hardware Intel phổ biến (laptop, server, edge device) mà không cần GPU NVIDIA đắt đỏ. Đặc biệt hữu ích cho GenAI/LLM inference trên CPU/NPU Intel Core Ultra (Meteor Lake, Arrow Lake) với quantization INT4/INT8, KV cache optimization, speculative decoding. Miễn phí, Apache 2.0, không vendor lock-in.

Bài gốc · github.comĐọc bài gốc tại GitHub Trending

Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.