Hugging Face hướng dẫn fine-tuning TRELLIS.2 cho mô hình 3D

Hugging Face đã công bố hướng dẫn fine-tuning TRELLIS.2, kèm script và container để người dùng tùy chỉnh model tạo 3D trên bộ dữ liệu tài sản 3D của riêng mình. Quy trình có thể chạy local hoặc sử dụng Hugging Face Jobs, với điều kiện dữ liệu đã được cập nhật lên Hugging Face Hub. Người dùng cũng có thể điều chỉnh script để phù hợp với nhu cầu huấn luyện.
TRELLIS và TRELLIS.2 sử dụng một unified latent representation làm biểu diễn nội bộ chung, sau đó các decoder chuyển biểu diễn này thành nhiều định dạng 3D. Cách tiếp cận này giúp giảm nhu cầu dùng model riêng cho từng dạng dữ liệu như GLB, PLY, NeRF hoặc 3D Gaussian splatting. TRELLIS.2 cải thiện khả năng biểu diễn cấu trúc 3D, nhưng model đa dụng vẫn có thể sai ở những chi tiết quan trọng với từng ứng dụng.
Trong thử nghiệm, nhóm sử dụng 188 vật thể giày từ Google Scanned Objects. Model pretrained thường tạo ra hình dáng tổng thể phù hợp nhưng phần đế giày chưa chính xác. Nhóm áp dụng LoRA, kỹ thuật chỉ huấn luyện các adapter matrix nhỏ trong khi giữ nguyên original weights, nhằm giảm số parameter cần train cũng như bộ nhớ cho gradient và optimizer state. PEFT của Hugging Face được dùng để tích hợp và huấn luyện các adapter này.
Pipeline TRELLIS.2 gồm các bước tách nền bằng BiRefNet, mã hóa ảnh bằng DINOv3-L, dự đoán cấu trúc thô, tạo geometry chi tiết và sinh material trước khi xuất textured mesh. Hướng dẫn giúp developer dễ thử nghiệm fine-tuning cho robotics, simulation, media và entertainment, đồng thời cho thấy LoRA có thể là lựa chọn thực tế khi cần chuyên biệt hóa model 3D với nguồn lực phần cứng hạn chế.
Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.