Trong bài viết mới, Hugging Face đặt câu hỏi “Bạn thực sự cần bao nhiêu bộ nhớ cho Agent?” và đưa ra kết luận rằng bộ nhớ không phải là một tính năng bật tắt mà là một “liều lượng” cần được cân chỉnh theo từng mô hình.
Sử dụng khung ALTK‑Evolve, tác giả so sánh việc tiêm toàn bộ bộ hướng dẫn tự‑đúc (full guideline set) với việc chỉ truy xuất các hướng dẫn liên quan đến từng nhiệm vụ. Kết quả trên tám mô hình – từ mô hình dày đặc 30B tới DeepSeek‑V3.2 (671B MoE) – cho thấy ba mẫu phản ứng chính:
- Mô hình mạnh có dư địa: cần toàn bộ bộ hướng dẫn để đạt cải thiện tối đa (ví dụ DeepSeek‑V3.2 tăng +9.5% hoàn thành nhiệm vụ).
- Mô hình yếu hơn: chỉ cần một lõi hướng dẫn ngắn gọn + một vài hướng dẫn truy xuất, giúp giảm tới 50% token tiêu thụ (gpt‑oss‑120b tăng +16.1% với chi phí +5% token).
- Mô hình đã bão hòa: không thấy lợi ích đáng kể khi thêm bộ nhớ (GLM‑5 không cải thiện).
Những yếu tố ảnh hưởng bao gồm kích thước tham số, kích thước cửa sổ ngữ cảnh, kiến trúc và chất lượng hướng dẫn. Vì không cần cập nhật trọng số mô hình, cách tiếp cận này vừa rẻ vừa dễ triển khai trên nhiều nền tảng.
Đối với các nhà phát triển AI tại Việt Nam, hiểu rõ “liều lượng” bộ nhớ sẽ giúp tối ưu chi phí triển khai agent trong các ứng dụng thực tiễn như trợ lý ảo hay tự động hoá quy trình.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com