OpenAI vừa công bố kết quả thử nghiệm đầu tiên của chip tùy chỉnh Jalapeño, một ASIC được phát triển cùng Broadcom, nhằm mục tiêu cải thiện tốc độ inference và giảm tiêu thụ điện năng. Theo báo cáo, Jalapeño cung cấp tốc độ xử lý nhanh hơn và hiệu năng năng lượng cao hơn so với các giải pháp hiện tại.
Trong các thí nghiệm, Jalapeño cho thấy số token xử lý trên mỗi người dùng và thông lượng trên mỗi kilowatt vượt trội so với các chip hiện đại nhất trên thị trường. Đặc biệt, so sánh với hệ thống Nvidia Blackwell, Jalapeño đạt mức tăng 1,5‑1,9 lần công việc AI trên mỗi watt và giảm độ trễ 1,7‑3,6 lần, tùy thuộc vào mô hình được kiểm tra.
Thiết kế của Jalapeño tập trung vào việc giảm thiểu di chuyển dữ liệu và độ trễ trong các giai đoạn prefill và giao tiếp. OpenAI đã tích hợp bộ nhớ KV cache trực tiếp trên chip, cho phép duy trì trạng thái mô hình gần nguồn tính toán, giảm thời gian chờ và tăng hiệu suất tổng thể. Động lực phát triển là tạo ra một nền tảng đa thế hệ, nơi phần cứng, phần mềm và mô hình AI được đồng bộ phát triển.
Với những cải tiến này, Jalapeño hứa hẹn mang lại trải nghiệm phản hồi nhanh hơn cho người dùng Việt Nam, đặc biệt trong các ứng dụng như chatbot, dịch vụ AI đám mây và các giải pháp doanh nghiệp cần độ trễ thấp. Khi chip được triển khai rộng rãi từ cuối 2026, cộng đồng AI trong nước sẽ có cơ hội tiếp cận công nghệ inference tiên tiến, giảm chi phí vận hành và tăng khả năng mở rộng.
Nguồn: OpenAI — Biên dịch & tổng hợp: danhbaai.com