Amazon Web Services (AWS) đã tung ra TorchNeuron, một công cụ mới giúp các mô hình AI được xây dựng bằng PyTorch chạy trên chip AI Trainium của Amazon mà không cần sửa lại mã nguồn. Theo AWS, chỉ cần thay đổi một dòng cấu hình, các ứng dụng sẽ chuyển từ GPU Nvidia sang Trainium, đồng thời tận dụng được khả năng đào tạo và suy luận trên cùng một nền tảng.
Hiện khoảng 85 % các ứng dụng AI trên thế giới được viết bằng PyTorch, một toolkit mã nguồn mở do Facebook phát triển và hiện thuộc Linux Foundation. Nvidia đã lâu chiếm ưu thế nhờ CUDA hỗ trợ sâu rộng cho PyTorch, khiến phần cứng Nvidia trở thành lựa chọn mặc định. TorchNeuron được thiết kế dựa trên PyTorch, vì vậy các nhà phát triển đã quen sẽ nhanh chóng áp dụng.
Amazon nhấn mạnh lợi thế kinh tế khi sử dụng Trainium: “giá‑hiệu suất tốt hơn và đồng nhất cho cả đào tạo lẫn suy luận”. Ví dụ, công ty Deepgram đã chuyển sang Trainium và đạt tăng 70 % năng suất xử lý âm thanh trên mỗi đô la chi phí, mà vẫn duy trì độ chính xác sản phẩm.
Không chỉ dừng lại ở công cụ, AWS còn cam kết đóng góp mã nguồn để loại bỏ các phụ thuộc đặc thù vào Nvidia trong dự án PyTorch chính thức, mở ra cơ hội đa dạng hoá phần cứng cho cộng đồng AI Việt Nam.
Với TorchNeuron, các startup AI trong nước có thể cân nhắc chuyển sang hạ tầng AWS, giảm chi phí và giảm rủi ro phụ thuộc vào một nhà cung cấp duy nhất, đồng thời thúc đẩy sự phát triển của hệ sinh thái AI mở.
Nguồn: TechCrunch — Biên dịch & tổng hợp: danhbaai.com