Việc Anthropic đưa thủy ấn ẩn (watermark) dựa trên công nghệ SynthID-Text của Google DeepMind vào các dòng model Claude để đáp ứng Đạo luật EU AI Act đang thu hút sự chú ý lớn từ giới nghiên cứu. Một phân tích kỹ thuật mới cảnh báo rằng cơ chế thủy ấn này có thể gây ra hiện tượng sampling drift (trôi lấy mẫu), làm thay đổi trực tiếp hành vi của các AI Agent.
Thủy ấn văn bản được thiết kế nhằm giúp máy tính nhận biết nội dung do AI tạo ra. Tuy nhiên, các kỹ thuật như Tournament sampling trong SynthID-Text hoạt động bằng cách can thiệp vào xác suất chọn token tiếp theo trong quá trình sinh dữ liệu. Dù về mặt lý thuyết phân phối xác suất tổng thể không đổi, nhưng trên từng phản hồi cụ thể, sự can thiệp này có thể làm thay đổi từ ngữ được chọn.
Hệ quả trở nên nghiêm trọng hơn khi mô hình đóng vai trò bộ não cho AI Agent. Hiện tượng trôi lấy mẫu có thể làm suy giảm khả năng từ chối các câu lệnh nguy hiểm (prompt injection), đồng thời làm thay đổi các tham số truyền vào hàm JSON khi agent gọi công cụ (tool calling). Điều này khiến agent thực thi sai hành động hoặc truy cập vào các tài nguyên không mong muốn.
Đây là lưu ý rất quan trọng đối với cộng đồng phát triển AI Agent tại Việt Nam. Khi tích hợp các LLM thương mại qua API, các kỹ sư cần kiểm thử kỹ lưỡng kịch bản gọi công cụ để tránh các rủi ro an toàn thông tin phát sinh từ cơ chế thủy ấn của nhà cung cấp.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com