Ramp – nền tảng quản lý chi phí doanh nghiệp – đã công bố vào tối thứ Tư dịch vụ định tuyến mô hình AI mang tên Router. Router cho phép khách hàng gọi API để chuyển đổi linh hoạt giữa nhiều mô hình ngôn ngữ lớn (LLM) khác nhau, đáp ứng nhu cầu thử nghiệm và tối ưu chi phí.
Dịch vụ hiện chỉ khả dụng tại Hoa Kỳ và sẽ miễn phí sử dụng đến cuối năm 2026, kèm theo ưu đãi tín dụng khởi động $26. Người dùng có thể truy cập các mô hình từ OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI và Z.ai. Router còn cung cấp các “chiến lược” định tuyến, ví dụ: ưu tiên mức giá linh hoạt của nhà cung cấp, hoặc tự động chọn mô hình dựa trên ba tiêu chí benchmark do người dùng đặt ra. Người dùng cũng có thể chỉ định các truy vấn khó cho các mô hình đắt tiền, hoặc thử nghiệm nhanh trên mô hình nhẹ.
Giao diện Dashboard cho phép theo dõi chi tiêu token, chi phí, độ trễ, số lần fallback và các thông tin chi tiết khác. Router áp dụng chính sách không lưu trữ dữ liệu mặc định trong một năm, đồng thời xóa bỏ thông tin cá nhân có thể nhận dạng trước khi dùng để cải thiện sản phẩm.
Với Router, Ramp không chỉ khai thác thị trường inference AI đang bùng nổ mà còn mở rộng giá trị cho khách hàng hiện tại thông qua quản lý chi phí token và giám sát chi tiêu. Nếu dịch vụ trở nên phổ biến như OpenRouter, Ramp có thể xây dựng mối quan hệ lâu dài với các phòng thí nghiệm AI và nhà cung cấp inference toàn cầu, tạo thêm kênh bán sản phẩm quản lý chi phí.
Đối với cộng đồng AI và doanh nghiệp Việt Nam, Router hứa hẹn cung cấp một công cụ linh hoạt để thử nghiệm và lựa chọn mô hình AI phù hợp, giảm chi phí và tăng tốc độ triển khai các giải pháp thông minh.
Nguồn: TechCrunch — Biên dịch & tổng hợp: danhbaai.com