Tại sự kiện Snapdragon Summit vừa diễn ra, startup AI PrismML đã hợp tác cùng Qualcomm để trình diễn mô hình LLM siêu nhỏ mang tên Bonsai 1-bit, có khả năng chạy trực tiếp trên các mẫu kính thông minh tích hợp vi xử lý Snapdragon AR1 Gen 1. Đây là bước tiến quan trọng hướng tới mục tiêu đưa AI dạng open-weight lên thiết bị phần cứng cá nhân thay vì phụ thuộc hoàn toàn vào dịch vụ đám mây.
Được thành lập bởi các nhà nghiên cứu từ Caltech và cố vấn bởi giáo sư Ion Stoica thuộc UC Berkeley, PrismML nổi tiếng với khả năng nén kích thước model đến 4 lần nhưng vẫn giữ nguyên hầu hết hiệu năng trên các chuẩn đánh giá benchmark. Phiên bản dành cho kính thông minh sở hữu 2 tỷ tham số (2B), được tinh chỉnh chuyên biệt cho tác vụ thị giác và ngôn ngữ, giúp người đeo kính có thể tương tác và đặt câu hỏi về những vật thể họ đang nhìn thấy trong thời gian thực.
Giải pháp của PrismML giúp tối ưu hóa tối đa năng lực phần cứng sẵn có trên thiết bị, giải quyết triệt để mối quan ngại về quyền riêng tư cũng như chi phí điện toán khổng lồ của các mô hình thương mại đóng kín. Dù hiện tại chưa có mẫu kính thông minh thương mại nào chính thức mở bán tích hợp PrismML, sự hợp tác này đã chứng minh tính khả thi của AI on-device trên các thiết bị đeo nhỏ gọn.
Đối với cộng đồng phát triển AI và người dùng công nghệ tại Việt Nam, sự xuất hiện của các mô hình LLM nén nhỏ gọn chạy on-device mở ra cơ hội lớn để phát triển các ứng dụng kính thông minh, thiết bị IoT cá nhân hóa với chi phí vận hành tối ưu và độ bảo mật cao.
Nguồn: TechCrunch — Biên dịch & tổng hợp: danhbaai.com