Inkling 2 Mini: MoE looped transformer 26B/3B active, context 1M, chạy local

Hugging Face · 2 phút đọc
inkling 2 mini moe looped transformer 26b 3b active context 1m chay local

Thinking Machines Lab (tổ chức trên Hugging Face) vừa release Inkling 2 Mini — mô hình Mixture-of-Experts (MoE) dùng kỹ thuật looped transformer mới lạ. Kiến trúc: 24 decoder layer vật lý, nhưng 12 layer giữa (6–17) chạy qua vòng lặp 3 lần → tương đương 48 layer logic (6 + 3×12 + 6) với cùng một bộ trọng số. Tổng ~26B params vật lý, chỉ 3B active params/token (routing 8/128 experts mỗi layer visit). Hidden size 2.304, intermediate expert width 1.152.

Điểm nổi bật: context 1 triệu token, hỗ trợ đa phương thức (text + image), ship sẵn định dạng mixed-precision NVFP4 và MXFP8 cho expert weights, kèm DSpark drafter cho speculative decoding (tăng tốc inference với chi phí memory nhỏ). Có sẵn hỗ trợ transformers, llama.cpp, MLX, và SGLang day-zero cho production trên datacenter.

Cơ chế loop: mỗi lần qua core (layer 6–17) bắt đầu từ cùng input (output layer 5). Thông tin truyền giữa các pass qua “cross-pass messages” — mỗi layer đọc message từ pass trước bằng query học được riêng (cho Q, K, V, MLP). Một gating controller nhỏ quyết định: quên bao nhiêu input hiện tại, thêm bao nhiêu message → mỗi pass refine kết quả pass trước. Cách này khác với Nanbeige (đã thử loop trước) ở chỗ tái sử dụng input gốc cho mọi pass.

Cũng phát hành thêm research artifact: cùng kiến trúc nhưng cho phép số pass biến đổi (1, 2, hoặc 3). Giảm pass → inference nhanh hơn, chất lượng giảm nhẹ. Chưa evaluated sâu.

Benchmark Artificial Analysis Intelligence Index v5 (AAv5): Inkling 2 Mini dẫn đầu 32/48 benchmark so với Gemma 4 31B, Muse Glimmer, Qwen3.8-27B, Nemotron 3.5 Super VL — bao gồm coding, autoresearch, agentic search, tool use. Vibe test nội bộ: “ít nhất ngang Qwen 3.8 27B”.

Với cộng đồng AI Việt Nam: đây là candidate mạnh cho local LLM production (3B active params vừa VRAM 24-48GB, context 1M xử lý codebase/repo lớn, multimodal, quant sẵn NVFP4/MXFP8). DSpark drafter + SGLang support giúp deploy inference server hiệu năng cao. Cần test thực tế hơn (benchmark Việt, task RAG dài, agent tool-use) nhưng architecture looped MoE mở hướng scale capacity hiệu quả param.

Bài gốc · huggingface.coĐọc bài gốc tại Hugging Face

Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.