Khi thực hiện bài toán trích xuất thực thể (NER) để phân tích tên thương hiệu, dòng sản phẩm và loại thép từ các bình luận Reddit về dao làm bếp, chi phí gọi API từ Gemini 3.1 Pro tăng lên nhanh chóng theo lượng tương tác. Để giải quyết bài toán kinh tế này, tác giả đã quyết định dùng chính Gemini để gán nhãn sơ bộ cho 4.290 bình luận với tổng chi phí chỉ 9 USD.
Sau đó, bộ dữ liệu này được dùng để huấn luyện mô hình mã nguồn mở GLiNER trên hạ tầng GPU Tesla T4 thông qua Modal. Quá trình xử lý bao gồm việc thiết kế prompt để Gemini trả về chuỗi chính xác, kết hợp mã nguồn xử lý vị trí ký tự (offset) và xử lý nhiễu bằng biểu thức chính quy (regex) để đảm bảo chất lượng dữ liệu đầu vào cho mô hình nhỏ.
Mô hình mã nguồn mở sau khi huấn luyện có thể tự chạy trên phần cứng cục bộ, giúp loại bỏ hoàn toàn chi phí API định kỳ. Cách tiếp cận này mang lại gợi ý thực tế cho các nhà phát triển Việt Nam trong việc tối ưu hóa chi phí triển khai AI quy mô nhỏ bằng cách kết hợp LLM thương mại và các model open source.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com