Dự án mã nguồn mở YuE vừa chính thức phát hành phiên bản YuE2, mang đến bước tiến mới trong lĩnh vực sáng tác âm nhạc bằng trí tuệ nhân tạo. Mô hình mới cho phép người dùng tạo ra các bài hát hoàn chỉnh bao gồm giọng hát và nhạc nền từ lời bài hát cùng gợi ý phong cách, với khả năng tự động lập kế hoạch giai điệu và hợp âm có thể chỉnh sửa linh hoạt.
Về mặt kỹ thuật, YuE2 sử dụng kiến trúc kết hợp AR–NAR Mixture-of-Transformers để dự đoán bản phổ nhạc và các token ngữ nghĩa theo cơ chế tự hồi quy, sau đó tạo các acoustic latents thông qua phương pháp flow matching. Bộ giải mã VAE sau đó sẽ chuyển đổi các latent này thành âm thanh stereo chất lượng 48 kHz không cần nén lượng hóa. Mô hình chạy trên môi trường Linux, Python 3.12 và yêu cầu GPU NVIDIA hỗ trợ BF16 với tối thiểu 24 GB VRAM.
YuE2 cung cấp quy trình xử lý linh hoạt gồm các bước plan, generate_semantic, synthesize và decode. Mô hình hỗ trợ nhiều chế độ Chain-of-Thought (CoT) như full (tạo kế hoạch giai điệu và hợp âm), melody (dành cho cover nhạc) và off (tạo trực tiếp). Khi kết hợp với SheetSage2 và MERT2, hệ thống có thể bóc tách bản ký âm từ tệp âm thanh gốc để làm nhạc cover zero-shot hoặc thực hiện quy trình chỉnh sửa nhạc dạng agent thông qua giao tiếp nhiều bước.
Sự ra đời của YuE2 mang lại công cụ tạo nhạc mã nguồn mở mạnh mẽ cho cộng đồng nhà phát triển và sáng tạo nội dung AI tại Việt Nam. Khả năng can thiệp vào bản ký âm ký hiệu giúp người dùng chủ động tinh chỉnh cấu trúc bài hát theo đúng ý đồ nghệ thuật của mình.
Nguồn: GitHub Trending — Biên dịch & tổng hợp: danhbaai.com