Qwen3‑4B giảm dấu hiệu viết AI nhờ huấn luyện đặc biệt

Trong một thí nghiệm tại phòng thí nghiệm cá nhân, tác giả đã sử dụng một MacBook Air để huấn luyện Qwen3‑4B trên 161 câu trả lời, nhằm giảm các dấu hiệu viết đặc trưng của AI. Phương pháp không phụ thuộc vào kích thước mô hình và có thể mở rộng sang các mô hình lớn hơn trong tương lai.

Phương pháp bao gồm việc xây dựng một bộ phát hiện dựa trên hướng dẫn phong cách AI (dấu gạch dài, cấu trúc “không phải X, mà là Y”, danh sách ba mục, câu hỏi tu từ, …). Mỗi thói quen được gán trọng số và tính điểm trên mỗi 1.000 từ. Mô hình gốc trung bình 121 điểm, trong khi mô hình đã được tinh chỉnh lần đầu đạt khoảng 20 điểm, và sau hai vòng đào tạo giảm còn 9,5.

Để đạt được kết quả này, tác giả đã dùng distillation: một teacher model được tạo từ các câu trả lời đã vượt qua kiểm tra, sau đó một LoRA adapter học cách tái tạo chúng. Vòng thứ hai kết hợp thêm một “direction steering” và một prompt đơn giản, nhưng cuối cùng lại loại bỏ steering để đạt điểm thấp nhất.

Kết quả thực tế cho thấy chỉ 60% câu trả lời của mô hình mới đáp ứng đúng yêu cầu đề bài, so với 78% của mô hình gốc, đồng thời giảm đáng kể các lỗi như câu bắt đầu bằng chữ thường hoặc chèn các nghiên cứu giả tạo. Điều này mở ra khả năng tạo ra mô hình AI viết văn gần như không thể phân biệt với con người.

Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com

Danh Bạ AI
Logo
Register New Account