OpenAI đã công bố chip inference mang tên Jalapeño – một ASIC tự thiết kế được ra mắt tại hội nghị Hot Chips. Quá trình thiết kế bắt đầu giữa năm 2024 và chỉ mất khoảng 16 tháng để tape‑out, cho thấy tốc độ phát triển phần cứng nhờ AI đang thực sự khả thi.
Jalapeño được xây dựng trên nền tảng Broadcom, sử dụng bộ nhớ HBM4 và tối ưu phần cứng‑phần mềm đồng thời. Các kết quả benchmark với bộ công cụ InferenceX cho thấy chip này “đốt cháy” mọi đối thủ: trên mô hình DeepSeek R1, nó đạt hơn 700 token/giây cho một người dùng duy nhất, và duy trì hiệu năng cao trong các kịch bản throughput lớn mà không cần Multi‑Token Prediction.
Điểm đáng chú ý là Jalapeño không chỉ tối ưu cho các mô hình của OpenAI; nó là một chip chung, có thể chạy mọi mô hình LLM và các workload AI khác. Thậm chí trong buổi demo, OpenAI đã chạy trò Doom trên chip chỉ bằng các prompt Codex, chứng tỏ khả năng linh hoạt và khả năng mở rộng.
Với hiệu năng trên mỗi MW vượt trội và khả năng hoạt động trong cả môi trường low‑latency và high‑throughput, Jalapeño hứa hẹn sẽ thay đổi cân bằng giữa phần cứng chuyên dụng và GPU đa năng. Đối với cộng đồng AI Việt Nam, việc một công ty trong nước có thể tiếp cận chip này sẽ mở ra cơ hội tối ưu chi phí triển khai các mô hình lớn.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com