Gemini API ra mắt Tool Retrieval: giảm token, tăng tốc agent

Google AI · 2 phút đọc
gemini api ra mat tool retrieval giam token tang toc agent

Google chính thức tung ra Tool Retrieval ở chế độ preview trong Gemini Interactions API, giải quyết bài toán cổ điển của agent quy mô lớn: khi kết nối chục đến hàng trăm công cụ (function), việc gửi toàn bộ schema tham số trong mỗi request làm phồng token đầu vào, tăng độ trễ và giảm độ chính xác chọn công cụ. Với Tool Retrieval, agent chỉ giữ tên và mô tả của mọi công cụ trong context, còn schema chi tiết chỉ được tải khi model thực sự cần gọi function đó — tất cả diễn ra trong một lần gọi API duy nhất.

Để kích hoạt, nhà phát triển thêm một tool_search tool và đặt defer_loading: true trên các function ít dùng. Ví dụ mẫu cho thấy một agent với 50+ function (như issue_refund, tra cứu đơn hàng, v.v.) chỉ tải schema issue_refund khi người dùng yêu cầu hoàn tiền 40 USD cho đơn A-1042. Quá trình bao gồm ba bước trong interaction.steps: tool_search_call (model xin schema), tool_search_result (API trả schema), function_call (model thực thi) — giúp debug dễ dàng hơn khi kiểm tra tool nào được xem xét.

Tính năng này hướng tới các ứng dụng enterprise phức tạp: trợ lý hỗ trợ khách hàng với hàng trăm thao tác CRM/ERP, agent DevOps quản trị hạ tầng đa cloud, hoặc hệ thống tự động hóa quy trình kinh doanh (RPA) kết hợp LLM. Giảm token đầu vào trực tiếp làm giảm chi phí vận hành (cost per request) và cải thiện latency — hai yếu tố then chốt khi triển khai agent vào production.

Với hệ sinh thái AI Việt Nam, Tool Retrieval mở ra khả năng xây dựng agent đa năng tiếng Việt (hỗ trợ tra cứu luật, thuế, hành chính công, ngân hàng) mà không lo bùng nổ chi phí token. Các startup và đội ngũ R&D có thể bắt đầu thử nghiệm ngay hôm nay với model gemini-4-hydrogen trong Interactions API, chuẩn bị cho lúc tính năng chuyển sang GA (General Availability).

Bài gốc · blog.googleĐọc bài gốc tại Google AI

Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.