Phonon đưa giọng nói AI chất lượng cao lên thiết bị cá nhân

Hugging Face chia sẻ thêm về Phonon, model text-to-speech nhỏ được thiết kế để chạy trực tiếp trên thiết bị người dùng. Không cần server hay kết nối mạng, Phonon xử lý văn bản tại chỗ, giúp nội dung người dùng nhập không phải gửi lên cloud. Bộ model đã được mở weights, trong đó Phonon 31m sử dụng giấy phép Apache 2.0 và có thể dùng miễn phí cho cả sản phẩm thương mại.

Phonon có hai kích thước khoảng 65 MB và 75 MB, hỗ trợ tiếng Anh, Pháp, Đức, Tây Ban Nha và Bồ Đào Nha. Hệ thống cung cấp hơn 100 giọng nói tích hợp, đồng thời hỗ trợ tạo voice tùy chỉnh thông qua voice cloning và voice design trong Gradium Studio. Model cũng được tối ưu cho các trường hợp thường gây lỗi ở TTS, như đọc số điện thoại, ngày tháng và mã.

Công nghệ này kế thừa dòng Pocket TTS và sử dụng flow matching để tạo audio. Hugging Face cho biết quá trình huấn luyện ban đầu gặp vấn đề bất ổn về số học, nhưng đội ngũ đã áp dụng nhiều kỹ thuật để duy trì chất lượng trên cả năm ngôn ngữ. Phonon 31m chỉ hỗ trợ tiếng Anh với giấy phép Apache 2.0, còn Phonon 40m hỗ trợ năm ngôn ngữ theo giấy phép phi thương mại.

Phonon đã được tích hợp vào Transformers ngay từ ngày ra mắt, đồng thời xuất hiện trong các dự án dùng ExecuTorch, Node.js và Spaces. Sau hai tuần, model đạt hơn 200.000 lượt tải trên Hugging Face. Đây là hướng phát triển đáng chú ý cho các ứng dụng voice AI riêng tư, offline và phù hợp với thiết bị có tài nguyên hạn chế.

Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com

Danh Bạ AI
Logo
Register New Account