7 月 1 日消息，互联网安全和性能优化公司 Cloudflare 宣布了一系列新措施，旨在帮助网站抵御 AI 爬虫的无限制抓取，同时探索一种新的商业模式，以保障互联网内容创作者的利益。

根据 Cloudflare 的最新政策，每一个与该公司签约以管理其网站流量的新域名客户将被询问是否允许 AI 爬虫访问其网站，还是选择完全屏蔽这些爬虫。此前，Cloudflare 已于 2024 年推出了一款免费工具，用于阻止 AI 爬虫，但此次更新后，用户无需手动调整设置即可默认屏蔽 AI 爬虫。

此外，Cloudflare 还启动了一项名为「按爬取付费」的私人测试项目，该项目允许网站所有者向 AI 爬虫收取访问内容的费用。Cloudflare 解释称：「每次 AI 爬虫请求内容时，它们要么通过请求头展示支付意愿以获得成功访问（HTTP 200 响应代码），要么收到一个 402 付款所需响应，其中包含定价信息。」

Cloudflare 表示，「按爬取付费」目前仍处于早期阶段，预计未来会不断演变。公司还支持开发其他市场平台和收费方式，例如允许出版商根据内容类型设置动态定价。（来源：IT 之家）