OpenAI 表示将遵守一个跨厂商共用的 robots.txt 信号，网站可以用它一次性声明 AI 训练偏好
网站声明「我的内容能不能拿去训练」，以后不必再给每家爬虫分别写规则，做内容型产品的人要关心这件事。
// 要点
- OpenAI 将遵守一个共用的 robots.txt 信号，帮助网站运营者表达对 AI 训练的偏好。
- 这个信号面向所有参与的提供方：网站写一次，就能把训练偏好传达给参与的各家 AI 厂商。
开发者视角对 PandaClaws 这类往外发内容的产品，这是一个应该写进发布检查清单的开关：先想清楚你的站要不要被拿去训练，按官方给出的具体写法在 robots.txt 里一次写上。反过来，如果你的产品要抓取网页，也该从现在开始把这个信号纳入抓取规则，而不是只认几家的 User-Agent。