Internet đang chuyển đổi từ môi trường dành cho con người sang môi trường được điều khiển bởi máy móc. Các bot AI như AI Data Scrapers, AI Coding Agents và AI Search Crawlers đang tự động thu thập nội dung website để huấn luyện các mô hình LLM và cung cấp dữ liệu cho các tác vụ RAG (Retrieval‑Augmented Generation).
Trong số hơn 5.000 website tham gia nghiên cứu, các bot này không chỉ thu thập dữ liệu mà còn thực hiện quét lỗ hổng bảo mật trên quy mô lớn. Các bot này có khả năng tự động điều hướng, click qua các trang và thực hiện các hành động phức tạp, khiến việc bảo vệ website trở nên khó khăn hơn.
Đáng chú ý, một phần đáng kể lưu lượng bot là giả danh các danh tính AI như ClaudeBot. Khi một bot tuyên bố là ClaudeBot nhưng không đáp ứng các phương thức xác thực (IP đã xác minh hoặc Web Bot Auth), lưu lượng sẽ được ghi nhận là “spoofed”. Tỷ lệ này đã tăng đáng kể trong thời gian gần đây.
Để giảm thiểu rủi ro, các quản trị viên có thể sử dụng file robots.txt để chặn các bot không mong muốn và theo dõi Robots.txt Effectiveness – một chỉ số đo lường mức độ giảm lưu lượng của bot sau khi bị chặn.
Việc hiểu rõ hành vi của các bot AI sẽ giúp các doanh nghiệp và nhà phát triển Việt Nam bảo vệ tài sản số, đồng thời tối ưu nội dung để xuất hiện trong các câu trả lời AI một cách an toàn và hiệu quả.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com