Hugging Face vừa ra mắt một Space mới để trả lời câu hỏi “Mô hình nào trên Hub có thể chạy trực tiếp trên AWS Trainium?”. Space này dựa trên gói torch-neuronx – backend PyTorch gốc cho Trainium – và cho phép người dùng kiểm tra ngay kết quả chạy của các mô hình Transformer phổ biến.
Giao diện có ba chế độ xem: Selected (lựa chọn của đội ngũ Hugging Face dựa trên lượt tải và xu hướng), Trending và Downloads. Mỗi dòng trong bảng cung cấp: trạng thái (PASS/FAIL), số core Trainium được shard, thời gian chạy (bao gồm cả quá trình biên dịch) và mức bộ nhớ thiết bị cao nhất. Khi một mô hình chưa được kiểm tra, Space sẽ giải thích lý do – thường là do chưa được ưu tiên hoặc không tương thích.
Hiện tại, Space chỉ thử nghiệm các mô hình text‑generation và image‑text‑to‑text của Transformers, nhưng đội ngũ Hugging Face dự định mở rộng sang Diffusers, Sentence‑Transformers và các tác vụ khác. Người dùng có thể tải script run.py được tạo tự động, cài đặt các gói cần thiết và chạy trên một instance Trainium2 (trn2) chỉ bằng lệnh python3 run.py, không cần torchrun.
Việc cung cấp bộ cache NEFF công khai giúp giảm thời gian biên dịch lần đầu; người dùng chỉ cần đồng bộ cache từ bucket hf://buckets/aws-neuron/torch-neuronx-neff-cache. Dữ liệu kết quả được lưu trong dataset aws-neuron/torch-neuronx-model-support dưới dạng Parquet, cho phép truy vấn trực tiếp bằng pandas.
Với công cụ này, cộng đồng AI Việt có thể nhanh chóng xác định mô hình nào phù hợp với hạ tầng Trainium, giảm chi phí thử nghiệm và đẩy nhanh triển khai các ứng dụng NLP và multimodal trên AWS.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com