Dự án đưa LLM lên TV box, iPad đời cũ và thiết bị ít RAM

Dự án smolmaxxing đang tìm cách khai thác năng lực xử lý còn bỏ trống trên các thiết bị phổ biến như TV box, điện thoại cũ, single-board computer và router để chạy LLM. Thay vì chỉ ước tính trên lý thuyết, tác giả đo trực tiếp model trên từng phần cứng, sau đó tối ưu bằng custom kernel, quản lý bộ nhớ và streaming trọng số.
Thiết bị đầu tiên là Xiaomi TV Box S thế hệ 3, dùng chip Amlogic S7D với 4 nhân Cortex-A55 tốc độ 2,5 GHz, khoảng 1,9 GB RAM nhưng chỉ gần 1 GB có thể sử dụng, chạy Android 14 và không root. Repo có thể chạy model từ 260 nghìn đến 16 tỷ tham số. Mức cân bằng tốt nhất giữa tốc độ và chất lượng trên thiết bị này là model 2B, đạt 6,55 token/giây.
Thử nghiệm đáng chú ý khác được thực hiện trên iPad Air đời đầu, ra mắt năm 2013, với chip Apple A7, 2 nhân, 1 GB RAM và iOS 12.5.7. Chiếc tablet này chạy model 1,7B ở 24-26 token/giây, model 4B khoảng 10 token/giây, model mixture-of-experts 8B khoảng 3,5 token/giây và model 16B ở mức 2,6-4,5 token/giây. Các expert được đưa vào từ flash khi cần.
Giới hạn lớn nhất không nằm ở CPU mà ở bộ nhớ và tốc độ flash. TV box chỉ chịu được khoảng 0,96 GB cho một tiến trình, trong khi tốc độ đọc flash tối đa là 278 MB/giây. Kết quả cho thấy MoE có lợi thế vì mỗi token chỉ cần truy cập một phần trọng số. Đây là hướng đáng chú ý cho cộng đồng AI Việt Nam muốn chạy LLM cục bộ trên thiết bị giá rẻ, cũ hoặc không có GPU.
Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.