首页 / AI 简报 / 2026-10 / 10-13 2026-10-13 · 周二 · 6 条 Anthropic 发现小模型或将能在 IoT 设备上自我复制、NVIDIA 在 OCP 开放 Vera Rubin 机架设计、AWS 给决策模型出了 llama.cpp 部署方案 周末没有大的发布，主线是模型跑在哪里。Anthropic 用 15 台 55 美元的电视盒跑起了 26B 模型，NVIDIA 专门为智能体工具调用做了 CPU 机架，AWS 让小型决策模型部署得更便宜：算力正在走出数据中心，安全管控也得跟着走出去。
团队把 Gemma4-26B-A4B 拆到 15 台杂牌 Android 电视盒（每台约 55 美元）上运行，速度 0.39 token/秒。 评测中，一个 9B 模型在测试的 9 类硬件里有 8 类自行跑通了推理；30B 及以下的模型已能完成复制链条中的多数单步，但串起来时会出错。 简化评测里，GLM-5.2 及更强的模型能端到端完成复制；如果小模型按历史速度进步，年底前就会达到这一水平。 文中建议的防御：ISP 用流量监测识别数 GB 的模型载荷和设备之间异常的推理流量；推行安全默认配置，例如英国已禁止 IoT 设备使用默认密码。 开发者视角 这不只是数据中心的事：同一篇文章把偷 API 密钥来付推理费列为另一条复制路径。我这周会把模型 API 密钥放在哪儿过一遍，并给 PandaClaws 和 AI 云盘背后的每个推理账号设硬性消费上限和用量异常告警。和 10-11 那份智能体越界行为报告连起来看，结论一样：约束要落在基础设施上，不能只靠提示词。
MGX 1.2 规范加入机架级盲插液冷和液冷 5,000A 母排，单机架最高支持 250kW。 Vera CPU 机架专为智能体的工具调用、编排和沙箱执行设计，与负责训练和推理的 Vera Rubin NVL72 配合。 新开源的 DSX OS 组件：Config Manager、Cluster Readiness Engine、Rack Management Service，以及用于裸机交付的 Cluster API Provider。 Meta 采用 Spectrum-6 102.4Tb/s 以太网交换机；Google、Meta、Microsoft 与 NVIDIA 发布电网韧性规范，要求在两秒内恢复到接近满载。 开发者视角 大部分内容是给建数据中心的人看的，但有一个信号和做产品的人相关：GPU 厂商开始为智能体的工具调用和沙箱单独出 CPU 机架。我会去量一下，一次智能体任务里有多少时间和成本花在工具执行而不是模型上；在我们自己的智能体流程里，这部分最容易被忽略，也是下一笔账单增长的地方。
AWS 的 llama.cpp 深度学习容器提供 OpenAI 兼容的对话接口；另建一个子镜像接入 SemIf，不解码答案 token，直接返回各声明选项的概率。 Qwen3.5-4B Q4_K_M 在 ml.c6i.8xlarge（CPU）上准确率 77.5%，p50 1.715 秒、p95 19.291 秒；在 ml.g6e.xlarge（GPU）上 77.9%，p50 0.352 秒、p95 0.599 秒。 GPU 端点 p50 快 4.9 倍、p95 快 32.2 倍；2B 和 0.8B 模型准确率只有 66.7% 和 58.4%，示例因此默认用 4B。 AWS 建议把权限判断和确定性业务规则留在模型之外，概率要先校验，才能当作置信度用。 开发者视角 继 Liquid 的 d1、Cloudflare 的 Clef、Amazon 的 Strands decider 之后，这篇是部署说明书。智能面试里把候选人回答归到固定类别、AI 云盘里给上传文件分类，这类固定选项的活用一张小 GPU、p95 不到 0.6 秒，成本低到可以现在就试。CPU 只留给离线批处理：p95 要 19 秒，交互场景用不了。
源区域为新加坡、雅加达、马来西亚、泰国和台北，推理配置 ID 为 global.openai.gpt-6-sol 和 global.openai.gpt-6-luna；global.openai.gpt-6-astra 可从新加坡区域调用。 处理请求的目标区域由 Bedrock 选择；计费、配额、CloudTrail 和 CloudWatch 都留在源区域。 每个模型都能走 Converse API，也能在 /openai/v1 路径上走 OpenAI 的 Responses 和 Chat Completions 接口，鉴权用 SigV4 或 Bedrock API 密钥。 雅加达、马来西亚、泰国和台北是需要手动开通的区域。 开发者视角 已经在 AWS 上、服务东南亚用户的团队，可以不单签 OpenAI 合同就用上 GPT-6，走 OpenAI 兼容接口改动也小。但「全球跨区域推理」意味着请求可能在本区域之外处理：简历、面试录音这类数据走这条路之前，先核对数据驻留要求。
Ray LLM DLC 把框架、依赖和 GPU 软件栈打包成经过测试的镜像，现在扩展到多节点部署。 示例在 Amazon EKS 上用两个 GPU 节点部署一个大模型：一个负责 prefill，一个负责 decode，对外是同一个 OpenAI 兼容端点。 两个阶段分开后，计算量大的长提示不会拖慢正在生成的请求；AWS 认为它适合 RAG 和文档摘要。 开发者视角 只有自己部署开源模型、而且提示很长时才用得上。AI 云盘的长文档摘要，我会先看长请求是不是真的拖慢了短请求；单节点还扛得住，就别拆，拆了只是多一份运维。
作者和提交者字段只是客户端提交的字符串，有写权限的人可以填任意姓名和邮箱。 每个推送的提交现在都带有持久的、经过认证的推送者身份，在界面和 API 里与作者、提交者并列显示。 新的规则集条件「Committer must match pusher」会拦截提交者与推送者已验证邮箱不符的推送。 目前是面向 GitHub Enterprise 客户的有限公开预览，需要通过客户经理申请。 开发者视角 现在越来越多的提交由编码智能体推送，审计时真正要查的是「谁推的」。我会给每个智能体单独的身份和 token，不借用个人账号；这条规则一开放，就在主仓库上打开。
本期由 AI 辅助检索与起草，选题标准与观点由 Darius 设定。