Janas là một dòng công cụ trí tuệ nhân tạo mới được viết thuần túy bằng ngôn ngữ C không phụ thuộc thư viện ngoài, nổi bật với thành phần Janas-LLM. Công cụ này cho phép các máy tính thông thường chạy mượt mà các mô hình ngôn ngữ lớn dạng Mixture-of-Experts (MoE) có kích thước vượt quá dung lượng bộ nhớ vật lý của máy.
Bí quyết của Janas nằm ở cơ chế giữ các trọng số mô hình trên ổ cứng và chỉ stream các chuyên gia (experts) cần thiết cho mỗi token từ ổ NVMe SSD vào bộ nhớ, đồng thời lưu giữ các chuyên gia thường xuyên sử dụng. Nhờ vậy, một mô hình 80 tỷ tham số như Qwen3-Next-80B có thể chạy và trả lời trơn tru trên một chiếc laptop chỉ có 32 GB RAM, đạt tốc độ xử lý ấn tượng trên cả nền tảng Linux lẫn Windows.
Được thiết kế để tối ưu hóa triệt để phần cứng thông qua các cơ chế đo đạc thời gian thực, Janas mang lại hiệu năng vượt trội so với các giải pháp truyền thống như llama.cpp trên nhiều dòng mô hình khác nhau. Sự xuất hiện của các công cụ tối ưu tài nguyên như Janas mở ra cơ hội lớn cho các nhà phát triển và kỹ sư AI tại Việt Nam có thể tự chạy các mô hình LLM lớn ngay trên máy tính cá nhân cấu hình phổ thông.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com