Một dự án mã nguồn mở ấn tượng vừa được chia sẻ trên Hacker News: chạy một language model 0.5B tham số trên cụm 7 chip ESP32S3 — loại vi điều khiển giá chỉ vài USD — bằng kỹ thuật lượng tử hóa BitNet 1.58-bit. Đây là minh chứng cho khả năng đưa AI xuống phần cứng siêu nhỏ thông qua distributed inference.
Kiến trúc hệ thống sử dụng mô hình pipeline inference phân tán. Một ESP32S3 đóng vai trò master node, chịu trách nhiệm chạy BPE tokenizer và token embedding (INT4, khoảng 14MB lưu trên Flash). Sáu node còn lại chia nhau xử lý 24 transformer block — mỗi node đảm nhận 4 layer bao gồm RMSNorm, attention 1.58-bit (Q, K, V, O projection) với RoPE, KV cache trên PSRAM, và MLP 1.58-bit. Các node giao tiếp qua SPI daisy-chain tốc độ cao, truyền hidden state vector dạng FP32 giữa các tầng.
Sau khi dữ liệu đi qua toàn bộ 6 compute node, kết quả quay về master node để thực hiện final RMS Norm, LM Head (tái sử dụng INT4 embedding) và greedy sampling để sinh token tiếp theo. Toàn bộ quy trình mô phỏng pipeline của một LLM hoàn chỉnh nhưng trên phần cứng embedded cực kỳ hạn chế về bộ nhớ và năng lực tính toán.
Dự án này mở ra hướng đi thú vị cho cộng đồng AI và embedded tại Việt Nam — nơi có nhiều kỹ sư phần cứng giỏi. Việc chạy LLM trên vi điều khiển giá rẻ có thể ứng dụng trong IoT, thiết bị edge AI không cần kết nối internet, phù hợp với các bài toán AI tại biên trong nông nghiệp, sản xuất hay nhà thông minh.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com