Cuộc đua trí tuệ nhân tạo đang chứng kiến bước ngoặt bất ngờ khi các hãng công nghệ phương Tây như Anthropic và OpenAI âm thầm học hỏi kỹ thuật tối ưu từ Trung Quốc. Thay vì chỉ cáo buộc đối thủ sao chép, các phòng thí nghiệm hàng đầu đang tích hợp các đột phá về tối ưu hóa KV cache do DeepSeek chia sẻ công khai để giảm áp lực chi phí inference.
Điểm sáng kỹ thuật nằm ở kiến trúc Compressed Sparse Attention (CSA2), tái sử dụng cache qua các lớp và nén bộ nhớ FP4 từ DeepSeek-V4.1-Flash. Giải pháp này giúp giảm dung lượng KV cache cho các tác vụ ngữ cảnh dài như lập trình xuống tới 437 lần so với phiên bản DeepSeek-V1, chạm mức chỉ 890 bytes mỗi token. Sự cải tiến này giải quyết bài toán tiêu tốn dung lượng VRAM trên hệ thống GPU – rào cản chi phí lớn nhất hiện nay.
Nhờ áp dụng công nghệ này, Anthropic đã phát hành Claude Opus 5.5 với chi phí đọc cache giảm 60%, trong khi GPT-6.1 Sol của OpenAI cũng giảm tới 80% chi phí đọc cache. Các lệnh giới hạn tiếp cận chip tiên tiến đã vô tình buộc các lab Trung Quốc tập trung tối đa vào tối ưu hiệu năng, tạo ra những bước tiến lớn mà cả ngành công nghiệp AI đang hưởng lợi.
Đối với cộng đồng phát triển và doanh nghiệp AI tại Việt Nam, sự cắt giảm chi phí VRAM và giá API này giúp việc triển khai các ứng dụng LLM với ngữ cảnh dài trở nên khả thi và tiết kiệm hơn đáng kể.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com