Mistral Large 4 (Le Chonk) vừa được công bố trên Hugging Face, là mô hình MoE đa modal và đa ngôn ngữ do Mistral phát triển. Với tổng cộng gần 1 tỷ token ngữ cảnh và 49 tỷ tham số hoạt động, mô hình có thể nhận vào cả văn bản và hình ảnh, sau đó sinh ra văn bản đáp ứng. Kiến trúc kết hợp một pool lớn các expert với cơ chế attention thưa thớt và bộ mã hoá hình ảnh Pixtral, cho phép chọn nhóm expert và vị trí token cần chú ý một cách hiệu quả.
Về cấu trúc, decoder của Mistral Large 4 gồm 72 lớp, chiều ẩn 6 144 và 64 attention heads. Các block attention tích hợp Multi‑head Latent Attention (MLA) và DeepSeek Sparse Attention (DSA) indexer, trong đó DSA có thể chọn tới 2 048 vị trí key cho mỗi query. Đặc biệt, mô hình áp dụng tỉ lệ RoPE:NoPE là 3:1, nghĩa là ba lớp decoder sử dụng RoPE, lớp thứ tư không dùng RoPE, đồng thời trạng thái KV được chia sẻ qua các lớp.
Trong lĩnh vực an ninh mạng, Mistral Large 4 đạt 82 % trên Artificial Analysis Cyber Index – một bài kiểm tra yêu cầu mô hình tái tạo lỗ hổng phần mềm mã nguồn mở và sau đó vá lỗi. Các mô hình đóng cửa khác gần như không đạt điểm vì từ chối thực hiện nhiệm vụ. Ngoài ra, mô hình còn hữu ích trong phân tích malware, ưu tiên lỗ hổng và viết luật phát hiện, mặc dù không được huấn luyện chuyên biệt cho các tác vụ này.
Với giấy phép Open‑Weight, cộng đồng có thể tự kiểm soát chính sách sử dụng và triển khai, tránh phụ thuộc vào API bên ngoài trong các tình huống khẩn cấp. Điều này mở ra hàng loạt ứng dụng downstream, từ xây dựng hệ thống phòng thủ dựa trên mã nguồn và log crash, đến fine‑tune các mô hình nhỏ hơn bằng RL từ các trace của Le Chonk.
Nhìn chung, việc công bố một mô hình an ninh mạng mạnh mẽ, mở và đa modal như Mistral Large 4 sẽ thúc đẩy nghiên cứu và triển khai AI trong cộng đồng Việt Nam, đặc biệt cho các nhà phát triển và nhà nghiên cứu muốn xây dựng giải pháp bảo mật tự chủ.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com