Latent Lattice Language Models: kiến trúc mới giảm perplexity đáng kể
Các nhà nghiên cứu trình bày Latent Lattice Language Models (LLLM), một kiến trúc mới thêm “lưới latent” — tập hợp các luồng latent ngang (horizontal) tồn tại qua các token, chạy song song với residual stream dọc (vertical) truyền thống qua độ sâu mạng. Khác với hybrid Transformer–SSM nơi state lặp chủ yếu phục vụ memory cho sequence mixing, các latent ngang này trực tiếp điều kiện attention, KV-cache writes, MLP và decoding của luồng dọc.
Thử nghiệm trên 20B tokens FineWeb-Edu cho thấy mô hình 406M tham số LLLM giảm validation perplexity từ 15.41 xuống 14.40 so với Transformer cùng tham số. Khi kết hợp với hyper-connections và input residuals, perplexity giảm tiếp xuống 13.61 (so với 14.22 của Transformer chỉ có enhancements). Lợi ích mở rộng sang Gated DeltaNet, Mamba-2, Triadic GDN và hybrids — các biến thể Lattice vượt trội hơn baseline thuần túy với native state lớn gấp 4 lần.
Đáng chú ý, LLLM chỉ dùng 22 layers thay vì 40 layers của Transformer 40L, giữ attention width 1024 nhưng KV cache nhỏ hơn 45%. Trong chế độ “hard” nén vertical stream xuống 256 chiều, các horizontal-update enhancements khôi phục được hầu hết khoảng cách tới full-width Transformer chỉ sau 10B tokens pretraining.
Kết quả xác định persistent per-layer state là trục bổ sung (complementary axis) để scale computation của language model, độc lập và kết hợp được với các kỹ thuật residual-stream enhancement hiện có. Code và interactive demo đã công khai để cộng đồng kiểm chứng.
Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.