Cosmos3‑H‑Dreams là phiên bản mới nhất của NVIDIA trong lĩnh vực mô phỏng phẫu thuật sinh tạo, cho phép tạo video nội soi phản hồi ngay khi người dùng điều khiển công cụ. Mô hình được xây dựng trên Cosmos‑Predict2.5 và học trực tiếp từ video và kinematics của các ca mổ thực tế trên nền tảng Versius.
Khác với các mô phỏng số truyền thống, Cosmos3‑H‑Dreams không cần mô hình hình học hay mô hình vật lý chi tiết. Thay vào đó, nó học động lực học thị giác từ hơn 10 GB video và dữ liệu kinematics, đồng thời sử dụng FlashDreams – thư viện streaming‑inference của NVIDIA – để tạo ra khung hình mới ở tốc độ thời gian thực.
Mô hình 16 tỷ tham số được tinh chỉnh cho hai công cụ phẫu thuật: kẹp Cadiere và móc monopolar. Nó nhận 28 chiều hành động (vị trí, góc quay, lệnh kẹp, v.v.) và sinh video 832 × 480 tại 10 Hz, duy trì độ trễ thấp để phản hồi tức thì. Độ nhất quán thời gian được bảo đảm nhờ quy trình huấn luyện teacher‑to‑student cho các chuỗi video dài.
Cosmos3‑H‑Dreams không chỉ nâng cao tính thực tế hình ảnh mà còn giúp các nhà nghiên cứu và bác sĩ luyện tập trong môi trường ảo mà không cần phần cứng mô phỏng phức tạp. Khi công nghệ này được mở rộng, nó có thể rút ngắn thời gian đào tạo và cải thiện an toàn trong các ca phẫu thuật thực tế.
Với khả năng chạy trên một GPU RTX PRO 6000, giải pháp này hứa hẹn sẽ đưa công nghệ mô phỏng AI vào các phòng khám và trung tâm đào tạo y khoa tại Việt Nam.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com