“MonsterHouse” là một dự án Halloween sáng tạo, biến cổng garage thành một thực thể tương tác với khách ghé thăm. Nhân vật này nghe và trả lời bằng giọng một con tàu cướp biển già nua, thay đổi thái độ khi người nghe nói “please”.
Dự án dựa trên NVIDIA Nemotron Voice Agent để xử lý hội thoại, Nemotron ASR để nhận dạng giọng nói, và Magpie TTS Zeroshot để tạo giọng nói thời gian thực. Bộ não của hệ thống là Nemotron 3.5 Bolt E4B 4GB, còn phần hoạt hình môi được thực hiện bằng Audio2Face-3D. Toàn bộ pipeline chạy trên một workstation duy nhất, cho phép triển khai offline mà không cần kết nối đám mây.
Quá trình xây dựng bao gồm việc tạo rig hoạt họa cho miệng bằng Autodesk Maya, xuất sang Unreal Engine và thêm hiệu ứng lửa ảo. Nhờ việc tích hợp nhanh gọn của Nemotron Voice Agent, việc xây dựng kịch bản hội thoại và quản lý trạng thái trở nên dễ dàng, cho phép hệ thống phản hồi linh hoạt dựa trên các từ khóa như “please” hoặc “thank you”.
MonsterHouse không chỉ mang lại tiếng cười cho trẻ em mà còn là minh chứng cho khả năng tạo ra các nhân vật AI tương tác độc lập, mở ra tiềm năng cho các ứng dụng giải trí và giáo dục tại Việt Nam trong tương lai.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com