Hệ sinh thái Hugging Face giờ đã hỗ trợ TPU một cách nguyên bản nhờ TorchTPU – một backend mới cho PyTorch. Trước đây, người dùng PyTorch phải dựa vào torch_xla hoặc chuyển sang JAX để tận dụng TPU của Google.
Với TorchTPU, việc chạy các mô hình Transformers, Diffusers và các kernel được tối ưu cho TPU trở nên đơn giản: chỉ cần cài đặt pip install torch-tpu --extra-index-url https://download.pytorch.org/whl/cpu và đặt device_map="tpu" khi tải model từ Hub.
- TPU là bộ xử lý AI do Google thiết kế riêng cho các phép tính ma trận, được sử dụng rộng rãi trên Google Cloud từ một chip đến các pod hàng nghìn chip.
- TorchTPU cung cấp các kernel Pallas tối ưu, hỗ trợ training phân tán và tích hợp torch.compile để tăng tốc.
- Optimum TPU không còn cần thiết cho các mô hình Hugging Face khi TorchTPU đã mang lại hỗ trợ đầy đủ.
Ví dụ thực tế: tải mô hình Qwen3.5‑9B và thực thi trên TPU chỉ bằng vài dòng code, hoặc chuyển pipeline Stable Diffusion 3 sang TPU bằng pipe.to("tpu"). Các pipeline vẫn giữ nguyên API, không cần fork riêng cho TPU.
Việc TPU trở thành thiết bị “first‑class” trong PyTorch mở ra cơ hội cho các nhà nghiên cứu và doanh nghiệp Việt Nam khai thác sức mạnh tính toán lớn mà không phải thay đổi khung code hiện có, thúc đẩy tốc độ phát triển các ứng dụng AI quy mô lớn.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com