Needle2 là mô hình ngôn ngữ agentic được thiết kế đặc biệt cho các thiết bị biên có tài nguyên hạn chế – điện thoại dưới 200 USD, Raspberry Pi, vi điều khiển, đồng hồ thông minh và robot mini như Reachy Mini. Với 45 M tham số, mô hình nén 2‑bit đạt dung lượng chỉ 14 MB và RAM tiêu thụ dưới vài trăm MB, cho phép chạy hoàn toàn offline mà không cần GPU hay NPU.
Nhờ kiến trúc “function‑call” và schema‑driven output, Needle2 chuyển đổi câu tự nhiên thành lời gọi hàm có kiểu dữ liệu rõ ràng, phù hợp cho các tác vụ điều khiển thiết bị như bật đèn, mở cửa hay điều khiển robot. Mỗi vòng trả lời luôn đi kèm một “call envelope”; nếu mô hình không chắc chắn, nó trả về lời gọi rỗng và đưa ra điểm tin cậy để chuyển sang đám mây.
Quá trình huấn luyện được thực hiện với quantization 2‑bit từ đầu đến cuối, không áp dụng post‑hoc, giúp duy trì độ chính xác và giảm kích thước mà không mất năng lượng pin. Mô hình và trình suy luận được đóng gói trong một binary C++ không phụ thuộc, tự động lựa chọn kernel phù hợp cho CPU từ Cortex‑M tới x86 và WebAssembly.
Needle2 còn cho phép fine‑tune trên máy cá nhân chỉ trong vài giờ, giúp các nhà phát triển tùy chỉnh vocabularies của thiết bị. Đây là bước tiến quan trọng đưa AI lên hàng loạt thiết bị IoT giá rẻ, mở ra khả năng tự động hoá thông minh cho người dùng Việt Nam mà không tốn chi phí đám mây.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com