2026-11-21 · 周六 · 10 条 OpenAI 公开反蒸馏防线、Inkling 2 Mini 开源、Hugging Face 用 RL 适配 harness
今天的主线是「模型之外的那一层」:OpenAI 把推理绑定到对话历史上防蒸馏,Hugging Face 证明给模型配一个 harness 专用的小适配器比换模型更划算,OpenAI 和 AWS 则把智能体接进性能排障和最小权限凭证。本地模型这边,3B 激活的 Inkling 2 Mini 给了 Qwen3.8-27B 第一个像样的对手。
-
- 在内部自适应红队评估中,恢复受保护推理(思维链)的平均攻击成功率从带原始防护的 GPT-6 Astra 的 54.0%,降到更新防护后 GPT-6.2 Astra 的 0.2%。
- 防线分两层:单次请求层用对抗训练、输入与输出分类器(覆盖流式响应和工具调用参数)和 API 限制;活动层从请求与账户信号中识别协同提取,并对相关账户网络执法。
- GPT-6.2 Astra 与 Sol 的受保护推理绑定在产生它的对话历史上:改写了较早的消息,API 会丢弃其后的推理;更早、防护更弱的模型家族读不到它们的推理。
- 内部研究显示,用精确推理轨迹训练的学生模型,在网络安全任务上通常强于只用推理摘要训练的模型;OpenAI 会与其他模型厂商共享入侵指标。
开发者视角对正常开发者最实际的一点是「改写历史消息就丢推理」:如果你的智能体会裁剪、改写对话来省 token,在 6.2 上可能悄悄丢掉推理续接,质量和缓存都会受影响。我会先检查上下文压缩逻辑是只追加还是会改写旧消息,再决定切 6.2 的时机。
-
- 24 个物理解码层中,中间 12 层循环 3 次,相当于 48 层逻辑层;每层从 128 个专家中选 8 个(Small 为 384 个),带 DSpark 草稿模型用于加速。
- 与 Gemma 4 31B、Qwen3.8-27B、Nemotron 3.5 Super VL 等相比,在 48 项基准中领先 32 项;FrontierCode v2.0 领先,Terminal-Bench 4.0 与 Qwen3.8-27B 持平。
- 首日支持 Transformers、llama.cpp(Llama App)与 MLX,SGLang 提供数据中心部署支持;专家权重以 NVFP4 与 MXFP8 混合精度发布。
- 另发布一个研究版,可把循环次数设为 1 或 2 以换取更快推理,但官方称尚未深入评估。
开发者视角3B 激活、1M 上下文、带图像输入,正好是「本地或单卡跑」的甜点区,也是 Qwen3.8-27B 第一个像样的对手。AI 云盘里文档理解这类长上下文任务,我会拿 Inkling 2 Mini 和 Qwen3.8-27B 在同一批文件上对比,循环次数可调这点值得单独测一下速度和质量的折中。
-
- 为 pi、Hermes Agent、OpenCode 三个 harness 各训一个 LoRA,在 harness 原样运行的环境里做 RL;任务、训练和 rollout 都在 Hub Jobs 上用 TRL 的 AsyncGRPOTrainer、OpenEnv 与 Harbor 完成。
- SWE-bench Pro 最难 51 题:pi 从 39.2% 到 64.7%,Hermes 从 29.4% 到 43.1%,OpenCode 从 35.3% 到 51.0%;完整 Terminal-Bench 2.1 上 pi 提升 16.3 个百分点。
- 在双方都解出的任务上,适配器的单任务工具调用次数少 53% 到 72%。
- 三个 LoRA 按 1/2 权重合并成一个超级适配器,在三个 harness 下都胜过基座;适配器、GGUF、RL 任务和 safeagents 插件全部公开。
开发者视角这说明「模型 + harness」应该当成一个整体来调,而不是换模型碰运气:同一个 27B 基座,只训一个 LoRA 就多解了四分之一的难题,工具调用还少了一半以上。用开源模型跑固定流程的团队,我会先拿自己的历史任务做一套可验证的 RL 环境,这一步比训练本身更值钱。
-
- 回归流程在性能告警触发时开任务:智能体调查、记录发现并提出修复交工程师审查,部署后另一个智能体检查性能是否回到基线。
- 三个多月里跟踪了 1,700 多次调查、找到 600 多个根因,相当于每天 17 次自动调查。
- 由四部分组成:可配置工作流的任务服务(Markdown 提示词加配置文件)、分派就绪任务的循环、在云端运行 Codex 的 API,以及在 GitHub 评论或部署完成时唤醒智能体的订阅。
- 团队先把排查经验写成共享 skill「perf-forensics」,并用过往回归做评测来打磨,然后才走向全自动。
开发者视角值得抄的不是规模,而是路径:先把老手的排查步骤写成 skill,再用历史事故做评测,最后才接告警自动跑,人只留在审查和合并。我们的 PandaClaws 后台也可以照这个顺序,从最常见的发布失败告警开始,先做到「自动给出诊断」,再谈自动修。
-
- 用现有临时凭证调用即可缩小权限、会话时长或两者,生成的凭证保留调用方原始身份。
- 权限和时长单调收窄,永远不会超过调用方;API 访问由 IAM 策略控制,每次调用记录到 CloudTrail。
- 已在所有商业区域、GovCloud(US)、欧洲主权云(德国)与中国区域可用。
开发者视角这是最小权限在智能体场景里最省事的实现:不用为每个子智能体建角色,主流程按任务现切一份凭证即可。和 11-12 Cognito 的令牌交换、11-19 Foundry 的智能体独立身份连起来看,各家都在补「代用户操作时权限怎么收窄」这一课。我的建议是给每次工具调用切一份只读或单资源的凭证,先从会写 S3 和数据库的工具开始。
-
- 6 月 Build 大会预览,此次正式可用;预览后扩容了服务能力、改进了提示词复用,并增加 US 与 EU Data Zones 部署选项。
- 在模型目录按「Managed Compute」筛选可找到 150 多个开源模型;部署模板决定上下文长度、推理运行时和 GPU 配置。
- 部署向导显示每小时费用;示例代码在 4 张 MI300X 上部署 DeepSeek V4.1 Flash,并用 OpenAI 兼容的 Chat Completions 调用。
开发者视角按小时租专属 GPU 跑开源模型,适合流量稳定、对数据驻留有要求的场景;流量起伏大的,按 token 的托管接口通常更划算。我会先算清自己的日均 token 量,过了盈亏点再迁,并顺手试一下 MI300X 的模板,多一个 GPU 供应来源本身就是议价筹码。
-
- 字段在 blueprint 里定义:一个 JSON Schema,每个字段带自然语言描述和推断类型(照原文读取或根据内容推断);提供 W-2、1040、护照等公共模板。
- 一次异步请求即可提交最多 3,000 页的混合文件,服务自动拆分为子文档并匹配 blueprint;每个值带置信度和页面级出处,无需训练。
- 支持 PDF、PNG、JPEG、TIFF,处理英、法、德、意、葡、西六种语言;按页而不是按 token 计费,无最低消费。
开发者视角出处加置信度才是文档自动化能放量的前提:有了它才能定「多少分以上自动通过,以下转人工」。AI 云盘做结构化抽取也该照这个形态输出,不管用哪家模型。暂不支持中文,国内业务先借鉴它的 blueprint 设计,而不是直接接。
-
- 新接口 TranscribeAudio:音频可内联(最大 25 MB)或来自 S3(最大 500 MB),时长 0.5 秒到 1 小时,支持 WAV、MP3、FLAC、M4A 等 8 种格式。
- 每分钟 0.0070 美元、按秒计费,说话人分离、语言识别、自定义词表和声道识别都包含在内;PII 脱敏为附加项。
- 支持英、西、法、意、德、日、葡、韩与中文(简体、繁体、香港)。
开发者视角同步加中文支持,意味着智能面试这类「答完一题就要转写和打分」的流程可以去掉任务队列,链路简单一截;一小时面试的转写约 0.42 美元。我会先拿单题回答做同步转写,整场录音仍走异步,并和 11-18 那条 0.5B 的开源 Rumble-2-Flash 对比一下中文准确率。
-
- 共 99 道题,取自 117 篇论文与专利,包含 761 个不同分子结构;评四项:分子结构重建、科学推理、排序与选择、性质预测。
- xhigh 推理档下,GPT-6.2 Astra 得分 84.5%,GPT-6 Astra 83.3%,GPT-6.1 Sol 82.0%,GPT-5.6 Sol 58.2%。
- 保留 18 元环的分子重建题上,GPT-6 Astra 十次全对,GPT-5.6 Sol 与 GPT-5.6 Luna 十次全错。
开发者视角对大多数产品团队,这条的意义不在制药,而在「垂直基准」的做法:取材于真实决策场景、按部分得分、把结构错误单独拎出来。6.x 各代之间只差两三分,换代收益在这类专业任务上已经变小。做垂直产品的,值得照这个形态做一套自己的小基准。
-
- 默认跟踪响应时间和 GPU 使用率并检查配置,不读取请求和响应内容;问题包括较旧的推理容器、未开投机解码、未做 GPU 内核调优。
- 变化持续一周或发现配置缺口时,每个端点发一条 AWS Health 通知,并可跳转运行推理建议,对比响应时间、吞吐和每百万 token 成本。
- 测试不动生产端点,客户应用结果前不会有任何变更;监测免费,建议任务按标准计算费用收费。
开发者视角自托管推理最常见的浪费就是「上线时调好,之后没人再看」。不用 SageMaker 也可以照抄这份检查单:每周看一次 GPU 利用率和 P95 延迟,推理容器每季度升级一次,投机解码默认开。
本期由 AI 辅助检索与起草,选题标准与观点由 Darius 设定。
每周一,一封邮件看完 AI 大事
每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。
邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →