Một nghiên cứu mới đây đã phát hiện ra phương pháp tối ưu hóa chi phí cho các mô hình ngôn ngữ lớn (LLM) bằng cách áp dụng phong cách viết điện tín thế kỷ 19. Bằng cách thêm một dòng lệnh đơn giản yêu cầu mô hình nén thông tin dạng cablese sau khi hoàn tất tư duy, hệ thống có thể giảm tới gần 50% số lượng token đầu ra mà không cần huấn luyện lại hay can thiệp vào phần cứng.
Trong các thử nghiệm với mô hình GLM-5.3-Flash, việc nén văn bản dạng chữ thường giúp tiết kiệm 48,4% chi phí token. Khi truyền các bản ghi đã nén này cho các họ mô hình khác nhau làm dữ liệu đầu vào, khả năng khôi phục thông tin đạt tỷ lệ 0,99 đến 1,10 so với văn bản thuần túy, với 1,00 là mức chính xác tuyệt đối. Tuy nhiên, kỹ thuật này lại khiến các mô hình bắt buộc bật tính năng suy luận như gpt-5-mini tốn chi phí gấp đôi do mô hình phải tốn thêm token suy luận khi gặp văn bản nén.
Tác giả nghiên cứu nhấn mạnh rằng phong cách viết điện tín phù hợp nhất cho các giai đoạn trung gian như bộ nhớ đệm (scratchpad), kho lưu trữ dữ liệu và quá trình giao tiếp giữa các AI agent. Đây là một giải pháp tối ưu chi phí cực kỳ hữu ích cho các lập trình viên và doanh nghiệp Việt Nam đang phát triển hệ thống AI agent phức tạp, giúp mở rộng ngữ cảnh gấp đôi với cùng một mức ngân sách API.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com