AWS 推出多节点 Ray LLM 深度学习容器，把 prefill 和 decode 拆到两个 GPU 节点上，对外仍是一个 OpenAI 兼容端点
一个由 AWS 维护的预构建容器，用多个 GPU 节点服务同一个模型；示例在 Amazon EKS 上做 prefill/decode 分离。
// 要点
- Ray LLM DLC 把框架、依赖和 GPU 软件栈打包成经过测试的镜像，现在扩展到多节点部署。
- 示例在 Amazon EKS 上用两个 GPU 节点部署一个大模型：一个负责 prefill，一个负责 decode，对外是同一个 OpenAI 兼容端点。
- 两个阶段分开后，计算量大的长提示不会拖慢正在生成的请求；AWS 认为它适合 RAG 和文档摘要。
开发者视角只有自己部署开源模型、而且提示很长时才用得上。AI 云盘的长文档摘要，我会先看长请求是不是真的拖慢了短请求；单节点还扛得住，就别拆，拆了只是多一份运维。