Ai2 发布 StateBench：在最长、最难的状态追踪题上，Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol、Luna 的准确率降到 13% 或更低
一个测「长文档里数值如何一步步变化」的基准，长时间运行的智能体恰恰依赖这种能力。
// 要点
- 四个难度对应四种变量赋值：值不变、按值重新赋值、基于自身的更新（x = x + 5）、按引用赋值（x = y、交换）
- 四个前沿模型在两个简单级别上都表现不错，但在两个难的级别上，输入越长准确率跌得越厉害，最长的 general finite 题降到 13% 或更低
- 从零训练的 275M 参数模型，在最多 256 次赋值的序列上训练、最长测到 64,000 次：Gated DeltaNet 和混合架构在三个级别上几乎完美泛化，Transformer 随长度退化，且始终学不会最难的级别
- 题目形式影响很大：有的小模型在 RULER 式题目上接近满分，换成表格编辑的形式就接近随机
开发者视角智能体改了很多步之后「迷路」，根源就在这里：一连串更新之后的当前值，前沿模型也算不准。长时间运行的智能体，我不会让模型从对话记录里自己还原状态，而是由 harness 维护一份结构化的当前状态，每轮喂回去。测试也要用自己的数据格式，不能只看大海捞针类的分数。