OpenAI đã trình bày chi tiết về chip Jalapeño tại hội nghị Hot Chips, kèm theo bộ kết quả benchmark InferenceX đầu tiên. Kết quả cho thấy Jalapeño không chỉ xử lý nhiều token hơn cho mỗi người dùng mà còn đạt thông lượng trên mỗi kilowatt cao hơn hẳn so với các giải pháp hiện tại.
Theo Richard Ho, trưởng bộ phận phần cứng của OpenAI, “kết quả cho thấy một bước tiến đáng kể so với trạng thái hiện tại của công nghệ”. So sánh với hệ thống Nvidia Blackwell, Jalapeño cung cấp công việc AI nhiều hơn trên mỗi watt và giảm độ trễ đáng kể, giúp phục vụ nhiều khách hàng hơn mà vẫn giữ chi phí năng lượng thấp.
Jalapeño được phát triển từ tháng 10 năm ngoái, trong sự hợp tác chặt chẽ giữa OpenAI và Broadcom, và dự kiến sẽ ra mắt ở quy mô nhỏ vào cuối năm 2026, với việc mở rộng sản xuất vào năm 2027. Thiết kế full‑stack cho phép tối ưu hoá các giai đoạn prefill và giao tiếp, nơi thường gây tắc nghẽn trong quá trình inference.
Với những cải tiến này, cộng đồng AI Việt Nam có thể mong đợi các dịch vụ AI đám mây nhanh hơn, chi phí vận hành thấp hơn và khả năng mở rộng tốt hơn. Khi Jalapeño được triển khai rộng rãi, các doanh nghiệp trong nước sẽ có cơ hội giảm chi phí hạ tầng và tăng tốc độ phản hồi cho người dùng cuối.
Nguồn: TechCrunch — Biên dịch & tổng hợp: danhbaai.com