Nhóm PyTorch tại Hugging Face vừa công bố PyTorch 2.15 với nhiều cải tiến dành riêng cho backend MPS trên Mac Apple Silicon. Phiên bản mới hỗ trợ kiểu dữ liệu torch.float8_e4m3fn, cho phép lưu trữ mỗi giá trị chỉ trong một byte – giảm bộ nhớ tới 50% so với FP16 hoặc BF16.
FP8 được tích hợp trong các phép nhân ma trận qua F.scaled_mm, hỗ trợ cả scaling theo tensor và theo hàng. Đoạn mã mẫu minh họa cách quantize và nhân các tensor FP8 trên thiết bị MPS, sau đó chuyển kết quả sang torch.bfloat16 để duy trì độ chính xác.
Về phía decoding LLM, PyTorch 2.15 kết nối các kernel GEMV trực tiếp với F.linear, giảm thiểu việc chuyển qua MPSGraph. Trên 96 hình dạng lớp BF16 thực tế, tốc độ trung bình tăng 1.23×, đặc biệt là các lớp nhỏ như gate trong mô hình MoE. Các kernel Metal mới cũng tối ưu các phần tốn kém trong audio, video và quá trình huấn luyện.
Để sử dụng, người dùng cần macOS 15+, Python 3.11+ và cài đặt pip install torch==2.15.0 từ kênh test. Những cải tiến này hứa hẹn biến Mac thành môi trường “first‑class” cho nghiên cứu và triển khai AI, mở ra cơ hội cho cộng đồng lập trình viên Việt Nam khai thác sức mạnh GPU của Apple Silicon.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com