OpenAI vừa chính thức ra mắt Jalapeño, chip gia tốc AI đầu tiên do công ty tự phát triển nhằm tối ưu hóa hạ tầng suy luận (inference). Chip sở hữu cấu trúc kết hợp khuôn tính toán với 6 chồng bộ nhớ HBM4 và chiplet I/O, mang lại sức mạnh tính toán 4-bit lên tới 13,4 petaflops cùng băng thông bộ nhớ đạt 15,4 terabytes/giây. Theo kết quả thử nghiệm của OpenAI, Jalapeño giúp giảm độ trễ từ prompt đến token cuối cùng tới 3,6 lần so với chip Nvidia GB300 nhưng lại tiêu thụ ít năng lượng hơn.
Điều đáng chú ý là toàn bộ quá trình từ ý tưởng kiến trúc ban đầu đến khi hoàn thiện mẫu silicon chỉ diễn ra trong chưa đầy 20 tháng, trong đó giai đoạn từ mã RTL đến khi gửi thiết kế đi sản xuất (tape-out) chỉ mất 9 tháng. Nhóm thiết kế phần cứng của OpenAI chỉ có chưa đến 100 người, làm việc cùng đối tác Broadcom. Sự tăng tốc kinh ngạc này có đóng góp lớn từ việc ứng dụng các model LLM nội bộ vào quy trình thiết kế chip, giúp các kỹ sư mở rộng khả năng khám phá và xử lý công việc nhanh vượt bậc.
Việc ứng dụng thành công LLM vào thiết kế bán dẫn mở ra triển vọng lớn cho cộng đồng AI Việt Nam, chứng minh sức mạnh của AI không chỉ nằm ở việc xử lý văn bản hay tạo hình ảnh mà còn có thể tham gia vào các ngành công nghiệp phần cứng lõi vô cùng phức tạp.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com