Granite Switch 4.1 là phiên bản nâng cấp của dự án Granite Switch được giới thiệu vào tháng 3 năm nay, cho phép các mô hình chuyển đổi liền mạch giữa các nhiệm vụ ngôn ngữ tự nhiên, quyết định chuyên biệt và chuyển đổi giọng nói thành văn bản — tất cả từ một endpoint duy nhất.
Điểm nổi bật bao gồm việc tích hợp Decision adapter và mô hình ASR (Automatic Speech Recognition) nhanh nhất trên bảng xếp hạng OpenASR. Các mô hình như Granite-switch-4.1-8B và -30B có thể thực hiện transcript âm thanh, tóm tắt nội dung, lọc nội dung hại họa và kiểm tra hơn 15 loại cờ, tất cả chạy trên một endpoint duy nhất với tốc độ cực nhanh.
Nhờ cơ chế cache hiệu quả với Activated LoRAs, Granite Switch 4.1 có thể tái sử dụng KV cache từ các thế hệ mô hình cơ sở, giúp giảm đáng kể chi phí bộ nhớ GPU. So sánh giữa Granite-Switch-4.1-30B và Jev-27B cho thấy mô hình của IBM có thể hoàn thành quy trình RAG (Retrieval-Augmented Generation) 5 bước nhanh hơn đáng kể.
Với cộng đồng AI Việt Nam, Granite Switch 4.1 mở ra khả năng phát triển các ứng dụng đa nhiệm vụ từ thiết kế giao diện đến xử lý ngôn ngữ tự nhiên, giúp tối ưu hóa tài nguyên và giảm chi phí triển khai. Đặc biệt hữu ích cho các doanh nghiệp vừa và nhỏ có hạn chế về phần cứng.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com