Một series học LLM inference từ những nguyên lý nền tảng đang hướng dẫn người đọc tự xây dựng engine nhỏ bằng C++ và CUDA. Nội dung theo sát toàn bộ quá trình từ lúc nạp model weights, xử lý prompt cho đến khi tạo từng token trên GPU, đi kèm hơn 80 trang ghi chú và sơ đồ viết tay trong tài liệu Inference from Scratch.
Các bài học mới tập trung vào prefill, decode và KV cache, sau đó mở rộng sang static batching và continuous batching. Engine sử dụng đường chạy inference của Llama 3.2 1B, với dense causal prefill, paged decode attention và context cố định 2.048 token. KV pool mặc định có dung lượng 128 MiB, có thể điều chỉnh bằng tùy chọn –kv-cache-mib N.
Cơ chế admission bảo đảm mỗi request có đủ chỗ cho phần prompt và số token tối đa được phép sinh, làm tròn theo các page 16 token ở cả 16 layer. Request được xếp hàng FIFO nếu ngân sách page không đủ; page vật lý chỉ được cấp phát khi cần và sẽ được giải phóng khi request hoàn tất. Công cụ cũng cung cấp –stats để theo dõi kích thước pool, số request hoạt động cao nhất, decode batch lớn nhất và số lần phải chờ.
Series là tài liệu thực hành đáng chú ý cho người muốn hiểu sâu hạ tầng LLM thay vì chỉ gọi API. Người học tại Việt Nam có thể dùng dự án như một lộ trình trực quan để nắm các đánh đổi về bộ nhớ, độ trễ và concurrency khi triển khai model.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com