Đội ngũ WebAI thuộc Hugging Face vừa chính thức phát hành thư viện mã nguồn mở @huggingface/kernels cùng bộ sưu tập ban đầu gồm 207 kernel WebGPU. Đây là bước đi quan trọng nhằm tối ưu hóa tốc độ và hiệu năng suy luận (inference) các mô hình trí tuệ nhân tạo cục bộ ngay trên trình duyệt web của người dùng.
Bộ sưu tập kernel này bao gồm các phép toán nền tảng trong học máy như nhân ma trận, chuẩn hóa, phép cuộn (convolution), cơ chế chú ý (attention) và định dạng lượng hóa (quantization). Mỗi kernel được đóng gói hoàn chỉnh thành một package có đánh số phiên bản trên Hugging Face Hub, đi kèm thông số kỹ thuật, mã nguồn WGSL, mã mẫu và các bài kiểm thử độ chính xác.
Cùng với đó, Hugging Face giới thiệu Fleet – công cụ đo kiểm (benchmark) hiệu năng GPU trực tiếp trên trình duyệt. Fleet cho phép cộng đồng đóng góp dữ liệu thực tế từ nhiều thiết bị phần cứng khác nhau, giúp phát hiện các trường hợp xử lý chậm hoặc lỗi kết quả, từ đó tối ưu hóa các biến thể kernel tốt hơn cho từng thiết bị.
Công cụ này hứa hẹn mang lại cú hích lớn cho cộng đồng lập trình viên AI tại Việt Nam, giúp việc triển khai các mô hình AI trực tiếp trên ứng dụng web người dùng trở nên mượt mà, tiết kiệm chi phí máy chủ và bảo mật dữ liệu tốt hơn.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com