Cloudflare đã công bố cài đặt mới Disallow AI Training, cho phép các chủ web vẫn xuất hiện trong kết quả tìm kiếm trên Google, Bing và các công cụ khác mà đồng thời từ chối cho các công cụ trình bày dữ liệu (crawler) đào tạo AI trên nội dung của họ.
Vấn đề chính là các crawler đa dụng, chúng thực hiện cả việc tìm kiếm và đào tạo AI, do đó các chủ web phải lựa chọn giữa khả năng xuất hiện và việc cho AI học từ nội dung. Theo báo cáo của Cloudflare, 17% các trang web đã kích hoạt một cách nào đó để ngăn chặn việc đào tạo, trong khi dưới 1% chỉ chặn các bot tìm kiếm. Một chỉ dẫn robots.txt không đủ để phân biệt motives của các bot, vì bất kỳ ai cũng có thể đăng ký một chỉ dẫn và các bot có thể bỏ qua nó.
- Crawler hỗn hợp (mixed-use) – một bot thực hiện cả tìm kiếm và đào tạo.
- Điều này tạo ra “một cân bằng” khó khăn: từ chối một cách làm mất khả năng xuất hiện.
- Cloudflare phân loại bot dựa trên hành vi, đưa ra ba chế độ kiểm soát.
Với cài đặt này, các chủ web Việt Nam cũng có thể duy trì khả năng tiếp cận người dùng mà không lo mất doanh thu từ quảng cáo hoặcsubscription. Điều này không chỉ giảm thiểu xung đột mà còn khuyến khích sự minh bạch trong việc sử dụng dữ liệu, góp phần thúc đẩy phát triển AI có đạo đức và bền vững trong cộng đồng.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com