Cloudflare vừa ra mắt Pay per Crawl, một marketplace giúp các trang web kiểm soát và kiếm tiền từ việc AI crawlers truy cập nội dung. Đây là cách mới để các nhà xuất bản thích nghi với sự giảm sút của lưu lượng truy cập truyền thống. Nhưng liệu mô hình này có thể thay đổi hoàn toàn cách các trang web duy trì giá trị nội dung trong thời đại AI? Câu trả lời có thể nằm ở cách các bên liên quan tương tác với hệ thống mới này.
Những điểm chính
- Cloudflare ra mắt marketplace Pay per Crawl giúp trang web kiếm tiền từ việc quét dữ liệu AI.
- Chủ sở hữu website có thể đặt giá cho AI crawler truy cập và thu thập dữ liệu.
- Công cụ này cho phép xây dựng paywall tự động cho các AI agents.
- Cloudflare xử lý thanh toán minh bạch, không dùng cryptocurrency hay stablecoins.
- Giải pháp giúp nhà xuất bản bảo vệ và kiếm tiền công bằng từ nội dung trong kỷ nguyên AI.
Mặc dù AI crawler đã trở thành công cụ phổ biến trong việc thu thập dữ liệu trực tuyến, Cloudflare vừa giới thiệu Pay per Crawl – một marketplace mới nhằm trao quyền cho các nhà xuất bản kiểm soát nội dung mà họ chia sẻ với các công ty AI, đồng thời thiết lập mức giá cho việc quét dữ liệu từ website của mình. Thử nghiệm ban đầu của nền tảng này đang được triển khai trong giai đoạn private beta, cho phép chủ sở hữu website lựa chọn chặn AI crawler hoặc cho phép thu thập dữ liệu miễn phí, hoặc thiết lập một mức phí cụ thể cho hoạt động này.
Cloudflare ra mắt Pay per Crawl, cho phép nhà xuất bản kiểm soát và định giá dữ liệu AI crawler.
Sáng kiến này của Cloudflare xuất phát từ nhu cầu cấp thiết trong bối cảnh lưu lượng truy cập từ Google Search giảm sút đáng kể, trong khi các chatbot AI ngày càng trở thành nguồn truy cập và tham khảo thông tin phổ biến. Các nhà xuất bản tin tức truyền thống, từng phụ thuộc phần lớn vào lưu lượng truy cập từ Google, hiện đang đứng trước thách thức lớn khi phải thích nghi với cách thức mới trong việc bảo vệ và kiếm tiền từ nội dung của mình. Trước đó, Cloudflare đã phát triển một số công cụ giúp các nhà xuất bản dễ dàng kiểm soát AI bots, bao gồm tính năng chặn chỉ với một cú nhấp và bảng điều khiển giám sát hoạt động của crawler.
Nhiều nhà xuất bản lớn như Conde Nast, TIME và The Associated Press đã chọn mặc định chặn các AI crawler để bảo vệ nội dung của họ, phản ánh sự thay đổi trong mô hình kinh doanh truyền thống của ngành xuất bản trực tuyến. Dữ liệu từ Cloudflare chỉ ra rằng các crawler của OpenAI và Anthropic truy cập các website rất nhiều lần, nhưng số lượt truy cập trực tiếp dẫn nguồn từ AI lại thấp, cho thấy sự cần thiết phải thiết lập một cơ chế thanh toán công bằng.
Pay per Crawl không chỉ giúp các nhà xuất bản định giá nội dung của mình mà còn mở ra khả năng xây dựng các paywall tự động cho AI agents, vốn có thể mua quyền truy cập thông tin theo ngân sách được phân bổ. Tuy nhiên, để marketplace này thành công, các công ty AI cần tham gia và chấp nhận trả phí cho nội dung hiện đang được thu thập miễn phí. Cloudflare đóng vai trò trung gian, xử lý thanh toán và phân phối lợi nhuận, đồng thời không sử dụng cryptocurrency hay stablecoins trong các giao dịch này, nhằm đảm bảo tính minh bạch và đơn giản. Đây được xem là bước tiến quan trọng trong việc tạo ra một hệ sinh thái bền vững, giúp các nhà xuất bản duy trì giá trị nội dung trong kỷ nguyên AI.
