Infographic so sánh kiến trúc DeepSeek V3 và V4

{"type":"infographic so sánh kiến trúc AI đặt cạnh nhau","style":"sơ đồ kỹ thuật gọn gàng, nền trắng, viền đen mỏng, hình chữ nhật bo góc, hộp chú thích nét đứt, các điểm nổi bật mã hóa theo màu sắc, tính thẩm mỹ dạng slide thuyết trình, infographic vector","canvas":{"aspect_ratio":"2:1","resolution":"wide horizontal"},"title_row":{"left_title":"DeepSeek V3/R1 (671 tỷ)","right_title":"DeepSeek V4 (1,2 nghìn tỷ)","left_title_color":"đỏ cam sáng","right_title_color":"xanh dương sáng"},"layout":{"columns":2,"sections":[{"title":"DeepSeek V3/R1 (671 tỷ)","position":"nửa bên trái","count":9,"labels":["Kích thước từ vựng 129k","Mô-đun FeedForward (SwiGLU)","Kích thước lớp ẩn trung gian 2.048","Lớp MoE","Độ dài ngữ cảnh được hỗ trợ 128k token","3 khối đầu tiên sử dụng FFN dày đặc với kích thước ẩn 18.432 thay vì MoE","Văn bản đầu vào mẫu","Kích thước embedding 7.168","128 head"]},{"title":"DeepSeek V4 (1,2 nghìn tỷ)","position":"nửa bên phải","count":9,"labels":["Kích thước từ vựng 160k","Mô-đun FeedForward (SwiGLU)","Kích thước lớp ẩn trung gian 3.072","Lớp MoE","Độ dài ngữ cảnh được hỗ trợ 256k token","3 khối đầu tiên sử dụng FFN dày đặc với kích thước ẩn 24.576 thay vì MoE","Văn bản đầu vào mẫu","Kích thước embedding 8.192","128 head"]},{"title":"bảng so sánh phía dưới","position":"toàn bộ chiều rộng phía dưới","count":10,"labels":["Tổng số tham số","Tham số hoạt động mỗi token","Kích thước ẩn","Esmple dimesiegn","DeepSeek V3/R1","Lớp trung gian (FF)","Số đầu attention","Độ dài ngữ cảnh","Kích thước embedding","Kích thước từ vựng"]}]},"left_panel":{"background":"hình chữ nhật bo góc màu xám rất nhạt","main_stack":{"count":8,"blocks":["Văn bản đã tokenize","Lớp token embedding","RMSNorm 1","Multi-head Latent Attention","RMSNorm 2","MoE","RMSNorm cuối cùng","Lớp đầu ra tuyến tính"]},"side_module":"RoPE gắn vào khối attention ở phía bên trái","attention_block":{"label":"Multi-head Latent Attention","accent":"orange-red text for the word Latent"},"feedforward_inset":{"title":"Mô-đun FeedForward (SwiGLU)","count":4,"blocks":["Linear layer","SiLU activation","Linear layer","Linear layer"],"diagram":"hai nhánh nhân với nhau, sau đó được chiếu (projected)"},"moe_inset":{"title":"Lớp MoE","count":5,"blocks":["top combine node","Feed forward","Feed forward","Router","expert count badge 256"],"details":"ô vuông nhỏ màu đen với 1 chuyên gia được chọn, các mũi tên định tuyến hướng lên các chuyên gia, đường phân cách nét đứt"},"annotations":{"vocab":"Kích thước từ vựng 129k","ff_dim":"Kích thước lớp ẩn trung gian 2.048","context":"Độ dài ngữ cảnh được hỗ trợ 128k token","dense_first_blocks":"3 khối đầu tiên sử dụng FFN dày đặc với kích thước ẩn 18.432 thay vì MoE","resource_savings":"Tiết kiệm tài nguyên: Kích thước mô hình là 671B nhưng chỉ có 1 (chia sẻ) + 8 chuyên gia hoạt động trên mỗi token; chỉ có 37B tham số hoạt động trong mỗi bước suy luận"},"bottom_stats":{"count":10,"items":["Tổng số tham số: 671B","Tham số kích hoạt trên mỗi token: 37B (1 + 8 chuyên gia)","Kích thước ẩn: 7,128","Esmple dimesiegn: 28,432","Lớp trung gian (FF): 2,048","Số đầu attention: 128","Độ dài ngữ cảnh: 128k","Kích thước embedding: 3 khối đầu tiên","Context ler length: 22G7","Kích thước từ vựng: 129k"]}},"right_panel":{"background":"hình chữ nhật bo góc màu xanh dương rất nhạt","main_stack":{"count":8,"blocks":["Văn bản đã tokenize","Lớp token embedding","RMSNorm 1","Multi-head Latent Attention","RMSNorm 2","MoE","RMSNorm cuối cùng","Lớp đầu ra tuyến tính"]},"side_module":"RoPE gắn vào khối attention ở phía bên trái","attention_block":{"label":"Multi-head Latent Attention","accent":"blue text for the word Latent"},"feedforward_inset":{"title":"Mô-đun FeedForward (SwiGLU)","count":4,"blocks":["Linear layer","SiLU activation","Linear layer","Linear layer"],"diagram":"cấu trúc tương tự như bảng bên trái"},"moe_inset":{"title":"Lớp MoE","count":5,"blocks":["top combine node","Feed forward","Feed forward","Router","expert count badge 384"],"details":"ô vuông nhỏ màu đen với 1 chuyên gia được chọn, các mũi tên định tuyến hướng lên các chuyên gia, đường phân cách nét đứt, viền xanh dương nhấn mạnh"},"annotations":{"vocab":"Kích thước từ vựng 160k","ff_dim":"Kích thước lớp ẩn trung gian 3.072","context":"Độ dài ngữ cảnh được hỗ trợ 256k token","dense_first_blocks":"3 khối đầu tiên sử dụng FFN dày đặc với kích thước ẩn 24.576 thay vì MoE","resource_savings":"Tiết kiệm tài nguyên: Kích thước mô hình là 1.2T nhưng chỉ có 1 (chia sẻ) + 8 chuyên gia hoạt động trên mỗi token; chỉ có 52B tham số hoạt động trong mỗi bước suy luận"},"bottom_stats":{"count":10,"items":["Tổng số tham số: 1.2T","Tham số kích hoạt trên mỗi token: 52B (1 + 8 chuyên gia)","Kích thước ẩn: 7,2B","Esmple dimesiegn: 28,432","Lớp trung gian (FF): 3.072","Số đầu attention: 128","Độ dài ngữ cảnh: 256k","Kích thước embedding: 3 khối đầu tiên","Context ler length: 22G7","Kích thước từ vựng: 160k"]}},"global_notes":"Tạo một sơ đồ so sánh kiến trúc transformer có độ chi tiết cao với bố cục đối xứng gương. Mỗi nửa chứa một sơ đồ xếp chồng mô hình lớn cùng với 2 sơ đồ lồng vào: 1 mô-đun feedforward và 1 lớp MoE. Sử dụng các mũi tên giữa các khối, các nhãn kỹ thuật nhỏ và các đường nối từ nhãn đến các thành phần liên quan. Giữ kiểu chữ dày đặc và mang phong cách slide thuyết trình, với màu đỏ cam được dùng cho tất cả các điểm nhấn mạnh V3/R1 và màu xanh dương dùng cho tất cả các điểm nhấn mạnh V4. Thêm một hàng dưới cùng nhỏ gồm các chỉ số dạng bảng gọn gàng trải dài toàn bộ chiều rộng. Giữ lại vẻ ngoài infographic do con người tạo ra hơi không hoàn hảo với văn bản rất nhỏ và các chú thích dày đặc."}