Việc sử dụng LLM làm bộ phân loại dữ liệu (LLM-as-classifier) thông qua các prompt thường gặp nhiều khó khăn trong thực tế. Dù các model này đôi khi đạt hiệu suất khá tốt, chúng lại thiếu cơ chế tích hợp thông tin phân phối dữ liệu nền tảng, dẫn đến việc khó kiểm soát kết quả đầu ra khi áp dụng vào các tập dữ liệu cụ thể.
Thay vì xem LLM là một bộ phân loại đơn thuần, tác giả đề xuất khung kỹ thuật xem LLM như một công cụ tạo đặc trưng (feature engineering) và kết hợp kết quả của nó với các thuật toán máy học truyền thống như hồi quy logistic. Cách tiếp cận này giúp tận dụng tri thức rộng lớn của model mà vẫn duy trì được tính linh hoạt, cho phép ước lượng tham số dựa trên dữ liệu huấn luyện thực tế.
Ví dụ thực tế trên tập dữ liệu đánh giá độ mỉa mai (irony) từ SemEval cho thấy việc định nghĩa cấu trúc JSON rõ ràng với Pydantic và các model như Gemini giúp chuẩn hóa quy trình phân loại hàng loạt. Phương pháp này mở ra hướng đi mới giúp cộng đồng lập trình viên tối ưu hóa chi phí token và nâng cao độ chính xác khi xử lý các tác vụ NLP phức tạp.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com