Huấn luyện pooling giúp embedding đa vector giữ chất lượng tìm kiếm tốt hơn

Các mô hình embedding đa vector cho mỗi token trong truy vấn một cơ hội riêng để tìm phần nội dung phù hợp trong tài liệu. Cách tiếp cận này giàu biểu đạt hơn embedding một vector, nhưng cũng khiến chi phí lưu trữ tăng nhanh khi mỗi tài liệu chứa hàng trăm vector. Bài viết trên Hugging Face giới thiệu pooling-aware training, phương pháp huấn luyện encoder để bảo toàn thông tin quan trọng ngay cả khi các vector token được gộp lại.
Token pooling làm nhỏ biểu diễn bằng cách hợp nhất những vector tương đồng. Trong ví dụ với Sentence Transformers, tác giả sử dụng HierarchicalTokenPooling, dựa trên phân cụm phân cấp Ward để liên tục gộp các nhóm vector gây ra mức tăng nhỏ nhất về độ phân tán. Vector đại diện của mỗi nhóm được tính từ giá trị trung bình rồi chuẩn hóa lại, trước khi dùng cho việc tính điểm MaxSim.
Kết quả cho thấy lợi ích rõ rệt về cân bằng giữa chất lượng và dung lượng. Với pool_factor=4, mô hình được huấn luyện thông thường giữ lại 94,6% nDCG@10 chưa pooling trên NanoBEIR, đồng thời giảm bốn lần số vector tài liệu. Khi áp dụng pooling-aware training, tỷ lệ này tăng lên 97,8% trong cùng ngân sách lưu trữ. Bài viết cũng minh họa quy mô chi phí: 200 vector, mỗi vector 128 chiều và residual quantization 4 bit, cần 12,8 KB cho một tài liệu và 12,8 GB cho một triệu tài liệu; giảm còn 50 vector sẽ đưa con số xuống 3,2 GB.
Phương pháp này cho thấy việc tối ưu huấn luyện cùng chiến lược nén có thể giúp hệ thống tìm kiếm đa vector tiết kiệm tài nguyên mà không phải đánh đổi quá nhiều chất lượng. Đây là hướng đáng chú ý với các nhóm xây dựng semantic search và kho dữ liệu lớn tại Việt Nam.
Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.