OpenAI 讲 ChatGPT 存储层 Habitat 的扩容:多租户、全局缓存加 Azure Cosmos DB,读取快 12 倍
服务十亿用户的 AI 产品,瓶颈也在存储。这是 OpenAI 存储扩容系列的第二篇工程文章。
// 要点
- 文章是 OpenAI 工程系列「为超过 10 亿 ChatGPT 用户快速扩容在线存储」的第二部分,介绍名为 Habitat 的存储层。
- 据官方摘要,Habitat 的扩容依靠可靠的多租户、全局缓存和 Azure Cosmos DB。
- 官方称这些改动让 ChatGPT 的读取快了 12 倍。
开发者视角会话、记忆、文件这些状态,是 AI 产品里最先被量压垮、又最容易被忽视的一层。AI 云盘这种读多写少的产品,我会先把多租户隔离和缓存层设计好,再谈换模型。原文网页抓取不到,细节以官方摘要为准。