Castform, một mô hình nguồn mở 4 tỷ tham số, đã được post‑training bằng RL để thực hiện truy vấn tìm kiếm với độ chính xác gần bằng GPT‑5.6 Sol, đồng thời giảm chi phí tới 100 lần so với mô hình đóng.
Neon (Lakebase Postgres) cung cấp các extension tìm kiếm hybrid, kết hợp BM25 và vector similarity, cho phép mô hình truy cập dữ liệu nhanh chóng. Khi một yêu cầu đa vòng được gửi tới GPT‑5.6 Sol, thời gian trung bình >10 giây và chi phí khoảng 0,03 USD, khiến nó không khả thi cho quy mô lớn.
Castform giải quyết hai rào cản chính: (1) tạo dữ liệu nhiệm vụ từ corpus hiện có; (2) thiết lập vòng lặp RL với hàm thưởng dựa trên độ chính xác trích dẫn và đáp án cuối cùng. Nhờ đó, mô hình có thể học cách sử dụng công cụ tìm kiếm một cách hiệu quả mà không cần kiến thức sâu về GPU hay training.
Việc cung cấp một công cụ dễ tiếp cận như Castform mở ra khả năng cho các nhà phát triển Việt Nam triển khai các giải pháp RAG và agentic retrieval mà không phải phụ thuộc vào API trả phí, thúc đẩy sự phát triển của hệ sinh thái AI nguồn mở trong nước.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com