Một nhà phát triển trên diễn đàn Hacker News vừa ra mắt dự án cá nhân mang tên jevchat, cho phép biến Jev thành một chatbot thử nghiệm thông qua việc dự đoán xác suất từng ký tự (symbol). Dự án được hỗ trợ lập trình bởi AI Claude nhằm hiện thực hóa các thuật toán lấy mẫu phân phối xác suất và chiến lược sinh văn bản thủ công.
Thay vì sinh ra các chuỗi văn bản hoàn chỉnh thông qua API tiêu chuẩn, jevchat hoạt động bằng cách gửi câu hỏi kèm văn bản đã tạo để Jev chấm điểm xác suất cho từng ký tự trong bảng chữ cái. Hệ thống sẽ tự động ghép ký tự, lặp lại quy trình cho tới khi nhận được tín hiệu dừng. Nhà phát triển đã triển khai nhiều chiến lược như choice (hỏi một câu trên toàn bảng chữ cái), bisect (chia đôi bảng chữ cái để hỏi), buckets và refine để tối ưu hóa khả năng chọn ký tự chính xác.
Ứng dụng chạy trên giao diện dòng lệnh bằng công cụ Poetry, cho phép theo dõi thời gian thực tốc độ tạo ký tự (symbols/s), số miligiây cho mỗi request API và bảng xếp hạng các ký tự có xác suất cao nhất. Dù tác giả thừa nhận chi phí chạy chatbot này khá đắt đỏ và kết quả đôi khi hài hước, dự án đã minh họa thành công nguyên lý cốt lõi của việc sinh chuỗi trong mô hình ngôn ngữ lớn.
Dự án là một nguồn tham khảo trực quan hữu ích cho cộng đồng lập trình viên AI tại Việt Nam muốn hiểu sâu hơn về cơ chế sampling và dự đoán token của LLM. Bài học từ thử nghiệm giúp các kỹ sư có thêm góc nhìn thực tế trong việc tối ưu hóa chi phí API và thiết kế thuật toán giải mã (decoding strategies).
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com