Dự án nguồn mở OpenTPU vừa công bố những kết quả ấn tượng nhằm trả lời câu hỏi liệu các agent AI có thể tự thiết kế phần cứng vi xử lý để chạy chính các mô hình AI hay không. Toàn bộ dự án được đóng gói trong một mã nguồn duy nhất bao gồm thiết kế phần cứng SystemVerilog, tập lệnh ISA, trình giả lập chính xác, trình biên dịch và phần mềm điều khiển card mở rộng PCIe thực tế.
Hệ thống thử nghiệm trên card FPGA Inspur YPCB-00338 tích hợp chip Xilinx Kintex-7 và hai kênh RAM DDR3. Thử nghiệm thực tế cho thấy phần cứng này đã chạy thành công 10 mô hình AI hiện đại như LFM2-2.6B, SmolLM3-3B, Phi-4-mini, Qwen3.5 và Gemma 4. Kết quả đầu ra token từ card FPGA hoàn toàn trùng khớp từng bit so với phần mềm giả lập. Nhờ kỹ thuật nén lượng tử hóa 4-bit (FP4) và cơ chế phân luồng chuyên biệt, tốc độ giải mã token đã tăng từ 40% đến 45% đối với các dòng mô hình Qwen3 và LFM2.
Đối với các mô hình tham số lớn dạng Mixture-of-Experts (MoE) vượt quá dung lượng 4 GB VRAM của card, OpenTPU cho phép nạp động các chuyên gia (experts) từ bộ nhớ máy chủ vào bộ nhớ DRAM của card theo thời gian thực. Độ trễ xử lý từ máy chủ được tối ưu xuống chỉ còn khoảng 0,17 đến 0,30 ms cho mỗi token, giúp giải phóng tối đa công suất cho CPU hệ thống.
Sự ra đời của OpenTPU đánh dấu bước ngoặt quan trọng khi AI không chỉ viết phần mềm mà còn tham gia tối ưu phần cứng bán dẫn. Đột phá này mang lại tài liệu tham khảo vô cùng giá trị cho các kỹ sư và cộng đồng nghiên cứu vi mạch, AI tại Việt Nam trong nỗ lực tự chủ công nghệ phần cứng chuyên dụng.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com