微软研究院用合成企业评测 Copilot：三个行业环境、每个数百名用户，每套评测数据约省 10 万美元
不碰真实客户数据，也能搭出接近真实的企业环境来评测智能体，这篇讲了做法和收益。
// 要点
- Industry Evaluation Data Generation Platform 生成合成企业环境和自动化查询流水线，用于评测 Microsoft Copilot，不使用真实客户数据。
- 三个环境：制药、资本市场、IT 与软件，每个包含数百名有完整沟通记录的用户；数据以 O*NET 职业数据、公开招聘信息和 SEC 文件为依据。
- 综合质量指标比最初的生成方法提高 39%，部分行业环境得分超过 0.9（满分 1.0）。
- 数据集制作从数天人工变为自动生成，估计每套评测数据节省约 10 万美元、项目合计约 30 万美元；平台与数据只在微软内部共享，没有公开发布。
开发者视角这正是做私有数据产品的人卡住的地方：AI 云盘不能拿用户的文件做评测，智能面试也不该拿真实候选人。我会照这个思路，用公开招聘信息和职业数据批量生成岗位与候选人，用公开文档拼出一个「假公司」的网盘，先做出一套固定的回归评测集，每次换模型、改提示词都先跑它。