NVIDIA 与 AI4Bharat 开放 2.8 万亿 token 的印度语言预训练语料，覆盖 22 种语言，并公开生成它的整条流水线
不只给数据，还给「怎么造数据」的配方。这一条讲语料构成，以及这套合成流水线能被拿去做什么。
// 要点
- 原生文字 token 26010 亿，拉丁转写 token 2246 亿（按 Gemma-4 分词器计）。
- 覆盖印度宪法列出的 22 种语言，其中 12 种另有拉丁转写版本，共 34 种「语言 × 文字」组合。
- 流水线基于 NeMo Data Designer 与 Gemma-4-31B-it：整篇翻译英文文档、评估翻译质量、修复低分结果，再把部分结果转为拉丁文字；提示词会区分要翻译的正文与要保留的代码、公式、URL。
- 每条输出保留来源文档标识，可追溯到原始英文文档。
开发者视角对我们更有用的是那条流水线，而不是印度语料本身：「整篇翻译 → 打分 → 只修低分 → 保留代码和公式」这套做法，可以直接借来给智能面试的题库做多语言版本。先拿 100 道题跑一遍，人工抽检修复环节到底修好了多少。