有状态移动 Agent、科学 Agent、多轮审查与整仓迁移都进入过程级评测。
Omni 输出、全双工语音与 3D 建模开始强调完整性、时序和可评分边界。
千万小时视频资产与企业级长上下文把规模和结构一致性推向真实环境。
评测继续从静态答案准确率迁移到状态、过程与环境执行：有状态移动工具、可审计科学证据链、多轮缺陷生命周期和整仓迁移都要求系统留下可验证结果。与此同时，评测对象也扩展到输出模态完整性、语音交互时序、3D 可评分性，以及更大规模且结构一致的数据资产。
Evaluation is becoming stateful, auditable & executable.
按研究价值、评测创新和可借鉴程度综合排序
在有状态移动端沙箱中统一评估 Tool Use、Memory、Skill 与 Sub-agent 协作。
1,705 个任务、212 个真实移动工具、13 个功能域和 89 个二级子类。
Overall = 50% Tool Use + 20% Memory + 20% Skills + 10% Sub-agent，并核验工具参数、最终数据库状态与证据链。
当前最佳 Overall 约 75.52%。
把移动 Agent 评测推进到有状态执行、运行时反馈和证据验证，更贴近真实手机助理。
Stateful Sandbox、Final-state Verification、异常注入、隐藏任务。
要求科学 Agent 在封闭事件包中检索证据、执行计算，并保留可审计的 provenance。
405 个可复现任务，来自 199 个真实记录事件与 19 类自然灾害。
以 answer-unit accuracy 与 Strict@95 为核心指标，结合可执行 ground truth、任务 rubric 和 traces。
最佳平均 answer-unit accuracy 约 84.65%，最高 Strict@95 约 34.81%。
从证据、计算到结论评估完整的 claim–evidence chain，而非只检查单一步骤。
Reproducible Evidence、Executable Ground Truth、Answer-unit Decomposition、Provenance。
基于真实 PR 迭代，评估多轮代码审查中的缺陷发现和生命周期状态跟踪。
2,269 个真实任务，覆盖五种语言；平均约 3.8 轮，最长 10 轮。
同时衡量 defect detection 的 Precision、Recall、F1 与缺陷状态跟踪准确率。
随着交互轮数增加，多数模型的表现明显退化。
把 Coding Eval 从静态 diff 扩展到讨论、修改与再审查的真实动态过程。
Cross-round State Labels、缺陷生命周期、真实 PR Timeline。
专测 Coding Agent 在跨文件、跨语言、框架和构建系统中的整仓栈迁移能力。
20 个完整仓库迁移任务，覆盖四类迁移；共运行 520 次实验。
依次执行 Migration Audit、Behavioral Tests 与对抗式差异验证。
520 次运行中仅 28 次（5.4%）完整通过。
能区分迁移真正完成与测试碰巧通过，识别残留旧栈造成的“假成功”。
Transformation-completeness Gate、Behavioral Equivalence、Adversarial Verifier。
评估 Omni Model 接收并输出 text、image、audio、video、document 五种模态及其组合的能力。
893 道人工编写问题；每题指定预期输出模态和 human-authored rubric。
MMI Value 衡量内容质量，MPS 衡量预期输出模态是否真正出现。
把正确模态是否交付与内容是否正确分开，直击多模态输出路由和完整性。
Presence vs Correctness、Expected Modality Set、Per-modality Rubric。
从同一开放来源派生 Video-Text、Audio-Text 与 Image-Text 训练资产的大规模预训练数据集。
1.3B 视频 URL、80M 已下载视频、约 1,000 万小时，并形成约 55M clips 和 300M 关键帧。
通过 Video-Text、Audio-Text 与 Image-Text retrieval 验证，并报告数据和模型规模扩展收益。
将同一来源的视频、音频和图像组织为可训练的多粒度资产。
URL / Downloaded Layer 分离、Scene Detection、多模态同源派生、Scale Ablation。
用随时间演化的知识库生成逻辑一致的企业文档网络，评估海量内部文档问答。
四家合成公司，规模从 12 到 10,000 名员工；最大语料超过 230,000 份文档。
评测 Information Extraction 与 Knowledge-base Querying，观察正确性随文档规模的变化。
当文档接近真实企业规模时，模型表现持续下降。
把文档规模和跨文档时序一致性本身作为企业 Agent / RAG 的核心变量。
Temporal World Model、Consistent Synthetic Corpus、Company-size Scaling Curve。
统一评估多领域 Spoken Dialogue 中的 End-of-turn 与 Interruption Detection。
30 小时人工标注双人对话、154 段 conversation、106 位说话者和 6 种交互风格。
以 EOT / INT Recall、False Positive Rate 与 Median Latency 为核心指标。
把全双工语音 Agent 的交互时序正式变成可比较的评测对象。
Triple Annotation、Style Stratification、Recall-FPR-Latency 三轴。
面向机械类 Image-to-3D / Text-to-3D 建模，强调结构、锐利边缘、可编辑程序与可验证装配。
36 个高难 case，包含参考图、prompt、evaluation spec、生成 provenance 与几何挑战标签。
使用共享 rerender rig 和 blind assembly judge，覆盖 Geo、Aes、Sem、CLIP 与几何锐度等指标。
用可评分 spec 明确单视角评测边界，并拆分视觉、几何、结构和执行质量。
Gradeability Spec、Reference Provenance、Shared Rerender Rig、Geometry Tags。