Cloudflare 给已验证机器人加上持续考核：按是否遵守 robots.txt、收到 429 后是否降速打出「信任区间」
身份验证之后，爬虫和智能体还要靠持续的行为保住「可信」资格。
// 要点
- 已验证机器人需满足三条：准确安全地表明身份、只做声明的事、不滥用；新系统专门评估第三条。
- 评估的首批信号：观察到的流量是否长期符合 robots.txt；收到 HTTP 429 后是否减速或暂停。
- 结果形成可解释的「信任区间」，基于持续的行为模式而非单次事件；Cloudflare 计划未来在 Radar 上公开这些分数。
- 目前在内部使用，之后将向所有 Cloudflare 客户开放，客户可自选处理已验证机器人流量的信任阈值。
开发者视角做浏览器智能体或抓取工具的，这条比任何模型发布都更直接：以后被网站放行靠的是行为记录，不只是签名。我会检查自己产品里的抓取代码，确保读 robots.txt、对 429 做指数退避，这些以前是礼貌，现在会被计分。和 10-16 那条 Cloudflare 与 OpenAI 的发现试点连起来看，Cloudflare 正在把自己做成 AI 流量的规则制定方。