Một dự án trên GitHub đã tái hiện kiến trúc được mô tả trong báo cáo kỹ thuật DeepSeek V3 chỉ với 190 dòng JAX thuần. Tác giả huấn luyện mô hình từ đầu trên MacBook Air bằng dữ liệu các tiểu thuyết trinh thám thuộc phạm vi công cộng, biến dự án thành một bản trình diễn dễ đọc về cách xây dựng một mô hình ngôn ngữ hiện đại.
Mã nguồn không sử dụng Flax, Equinox hay PyTorch. Tham số được lưu dưới dạng các dict chứa array, trong khi từng thành phần của model đều là một function có thể đọc xuyên suốt trong file deepseek_v3.py. Bài viết đi kèm giải thích kiến trúc bằng sơ đồ và phân tích từng phần của mã.
Thử nghiệm cũng kiểm tra cơ chế cân bằng expert. Ở bước 2.000, validation loss gần như không đổi khi bật hoặc tắt cơ chế này, lần lượt là 3,921 và 3,923. Kết quả phù hợp với tuyên bố trong báo cáo rằng bias có thể phân bổ đều hơn giữa các expert mà không tạo thêm chi phí đáng kể.
Phiên bản 1.0 cung cấp checkpoint và dữ liệu đúng với lần chạy được công bố. Bộ dữ liệu gồm 211 tài liệu huấn luyện, khoảng 21,69 triệu token và 4 tài liệu validation với 0,30 triệu token. Người dùng cần Apple Silicon Mac, Python 3.12 và khoảng 24 GB bộ nhớ; checkpoint pickle chỉ nên được tải từ nguồn đáng tin cậy.
Đây không phải một language model mạnh, mà là một bản minh họa kiến trúc có giá trị học tập. Dự án giúp cộng đồng AI, trong đó có người dùng Việt Nam, tiếp cận trực tiếp cách triển khai DeepSeek V3 ở quy mô nhỏ.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com