Writer vừa công bố mô hình LLM mới mang tên Palmyra X6, hứa hẹn giảm chi phí token tới 50% cho các tác vụ cơ bản, đáp ứng nhu cầu giảm chi phí triển khai AI ngày càng tăng.
Palmyra X6 được xây dựng dựa trên mô hình mã nguồn mở GLM‑5.2 của Z.ai, qua quá trình “post‑training” để tối ưu hoá. Khi kết hợp với nâng cấp “harness” – phần hạ tầng điều khiển và quản lý yêu cầu – mô hình có thể thực hiện các tác vụ đa bước nhanh hơn và tiêu tốn ít token hơn.
Writer công bố nghiên cứu nội bộ cho thấy việc cải thiện harness có thể giảm chi phí trung bình 40% trên nhiều mô hình, và trong một số trường hợp giảm tới 50% so với cách tiếp cận truyền thống. Kết quả này chứng minh harness là “công tắc nhân” cho mọi mô hình hiện tại và tương lai.
Palmyra X6 được triển khai dưới dạng model‑agnostic, có thể chạy cùng các mô hình khác của Writer hoặc các mô hình được nhập khẩu qua Azure và Amazon Bedrock. CEO May Habib nhấn mạnh doanh nghiệp đang “chán ngấy việc chạy đua benchmark” và muốn “phẳng phiu chi phí”.
Đối với doanh nghiệp và nhà phát triển AI Việt Nam, Palmyra X6 và cải tiến harness mở ra hướng đi mới: giảm chi phí triển khai mà không cần phụ thuộc vào các lab AI lớn, tạo điều kiện cho các dự án nội địa mở rộng quy mô nhanh hơn.
Nguồn: TechCrunch — Biên dịch & tổng hợp: danhbaai.com