Nhà nghiên cứu Yifan Zhang vừa giới thiệu kiến trúc Recurrent Looped Transformer (RLT), một hướng tiếp cận mới kết hợp giữa causal encoder và recurrent decoder. Mô hình này giúp mở rộng đường dẫn tính toán ẩn theo chuỗi thời gian mà không làm gia tăng khối lượng tính toán cố định trên mỗi token.
Về cấu trúc chi tiết, encoder đảm nhận nhiệm vụ tạo bộ nhớ key–value (KV) toàn cục, trong khi decoder truyền trạng thái ẩn cuối cùng và bộ nhớ đệm sliding-window attention (SWA) qua các token prompt và response. Trong cấu hình thử nghiệm cụ thể với 48 lớp encoder và 48 lớp decoder (tương đương 96 block logic mỗi token), sau t token, chuỗi tính toán của decoder sẽ trải dài qua 48t block. RLT cũng hỗ trợ xử lý song song với encoder, tái sử dụng bộ nhớ và checkpoint activation để duy trì tính nhất quán khi huấn luyện BPTT (Backpropagation Through Time) và tái phát chính sách trong học tăng cường (RL).
Kiến trúc RLT mở ra tiềm năng lớn trong việc kết hợp giữa suy luận ẩn (latent reasoning) với khả năng mở rộng độ sâu theo thời gian, tối ưu hiệu năng phần cứng và học tăng cường.
Đối với cộng đồng nghiên cứu AI Việt Nam, RLT cung cấp một góc nhìn kỹ thuật giá trị về cách cải tiến kiến trúc Transformer truyền thống, hướng tới các mô hình ngôn ngữ lớn (LLM) xử lý chuỗi dài và suy luận hiệu quả hơn.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com