Một thử nghiệm mới đây so sánh giữa công cụ tìm kiếm văn bản Grep truyền thống và điều hướng ngữ nghĩa dựa trên LSP (Language Server Protocol) đã đưa ra kết quả bất ngờ. Mặc dù LSP cung cấp kết quả chính xác hơn về mặt ngữ nghĩa, các AI coding agent như Claude vẫn ưu tiên chọn Grep trong phần lớn các tác vụ tìm kiếm và chỉnh sửa mã nguồn.
Trong các tác vụ định vị mã đơn giản, cả 3 mô hình Claude được thử nghiệm chỉ chọn công cụ LSP từ 0% đến 6% số lần khi cả hai công cụ cùng sẵn có. Khi bị ép buộc phải dùng đường dẫn LSP trước, tỷ lệ thành công của tác vụ thậm chí giảm từ 100% xuống 89%. Nguyên nhân là do Grep trả về ngữ cảnh xung quanh đủ rộng và trình bày ở định dạng mà LLM dễ tiêu thụ trực tiếp. Ở tác vụ tìm kiếm toàn bộ bộ gọi (callers), LSP đạt độ chính xác (precision) tuyệt đối 1,00 so với 0,76 của Grep nhờ loại bỏ các kết quả khớp giả. Tuy nhiên, tỷ lệ thu hồi (recall) của cả hai vẫn tương đương ở mức 0,66. Trên các kho mã TypeScript sạch, việc dùng LSP còn khiến agent tiêu tốn thêm 16% số lượng token mà không mang lại cải thiện đáng kể nào.
Kết quả này cho thấy một công cụ tối ưu cho lập trình viên con người chưa chắc đã hiệu quả đối với LLM nếu giao diện và định dạng dữ liệu đầu ra không thân thiện với mô hình. Đối với cộng đồng phát triển AI agent tại Việt Nam, đây là bài học quan trọng trong việc thiết kế giao diện công cụ (tool interface) và tối ưu hóa ngữ cảnh nhằm nâng cao hiệu suất lập trình tự động.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com