可复用环境、Harness 自我开发与提前终止开始优化评测系统本身。
逐例规则、相对物理关系和终止协议让成功条件更明确、更可执行。
图文交错、机器人轨迹检索和一对多音频描述扩展了监督与评测对象。
本周 Agent Evaluation 正在基础设施化：竞争单位从单一 Model 扩展到 Model + Harness + Environment + Evaluation Runtime。与此同时，Benchmark 越来越强调关系、协议与可执行验证规则，而不是依赖单一 Judge 分数。
Model + Harness + Environment + Evaluation Runtime
按研究价值、评测创新和可借鉴程度综合排序
从历史 Terminal Agent 轨迹反向重建可执行环境，让同一环境能持续重建原任务并合成新任务。
37.3K 个 task-sufficient environments，约 31.9K 条验证后的 SFT demonstrations。
通过 Agentic verifier、跨代码库任务与多轮需求验证环境，并检查数据污染。
Qwen3.5-27B 在 Terminal-Bench 2.1 提升 11.9 分，EvoCode-Bench v2 MT@4 提升 13.8 分。
把 Agent 数据资产的核心单位从一次性 trajectory 升级为可反复出题和验证的 environment。
Trajectory → Environment、Agentic Verifier、Cross-repository Query、Multi-turn Refinement。
评估模型能否从弱 seed 创建完整 Agent Harness，并基于下游反馈持续进化。
6 个 creator LLM、4 个领域、5 个 downstream benchmarks，共 2,207 个唯一下游实例。
同时衡量 Capability 与 execution-token cost，并测试 hidden eval 和跨 runtime model transfer。
Writing / ML 可匹配所选人工基线；Code 与 Search / Research 明显落后，跨模型迁移有限。
评测对象从任务答案升级为 runnable infrastructure，体现 Harness 已成为 Agent 能力的重要组成。
Creation / Evolution 双阶段、Hidden Eval、Capability + Cost、Transfer Diagnosis。
持续收集强翻译模型仍会失败的文本与多模态案例，并为每例配置人工验证规则。
LTBv1 含 3,456 个难例、覆盖 109 种语言，约 6% 为多模态；LTBv1-eval 含 911 例。
按每例 handcrafted verification rules 进行可重复、可诊断的 pass / fail 评测。
传统翻译 Benchmark 接近饱和后，以 Failure-driven Live Dataset 保持长期区分度。
Failure-driven Collection、Peer Review、Per-example Rules、Live Versioning。
从 Agent 的中间行为预测最终成败，在高置信时提前终止单个任务运行。
在 SWE-bench Verified、TerminalBench 和 Toolathlon 三个 Agent Benchmark 上验证。
用校准阈值联合衡量成本节省、预测准确率、resolve rate 扰动与排名保持。
减少 13%–26% Agent steps；预测准确率 89%–97%，resolve rate 扰动约 1–2 个百分点。
直接优化每一道 Agent Eval 题目的运行成本，缓解评测迭代瓶颈。
Early Outcome Prediction、Calibrated Threshold、Rank Preservation、Cost / Fidelity。
要求模型持续关联文字与多张图片中的线索，评估深度图文交错推理。
2,280 个问题，覆盖 3 大域与 8 类关联类型，并评测 10 个 SOTA MLLM。
以问题正确率和 human–model gap 为核心，并按逻辑、时间、空间关联类型切片。
更接近真实多模态文档、网页、教程和交互界面的信息组织方式。
Interleaved Evidence Chain、Logical / Temporal / Spatial Taxonomy、Relation Slices。
用同场景成对物体必须满足的牛顿关系，评估生成视频的物理一致性。
覆盖 8 类物理现象和受控真实场景，对 6 个 SOTA 视频生成器执行数千次生成。
采用 calibration-independent consistency score，并以 VLM 检测 physics violation。
所有模型的一致性分数均未超过 0.42；VLM 物理违规检测最佳约 67%。
相对关系不依赖绝对尺度、帧率或相机标定，适合视频与世界模型评测。
Relational Invariant、Paired-object Scenes、Calibration-independent Metric、Dual Judge。
把通用 MLLM 放入无人机闭环控制，评估接近、跟踪、搜索和多机指挥。
覆盖 9 个 MLLM、4 类任务和约 100 个 episodes，其中 20 个为四无人机指挥任务。
成功要求在 5 米半径内正确执行 finished；将导航结果与终止协议分开诊断。
最佳 approaching success 约 65%；Qwen3.5-9B 有 90% 进入半径，但最终仅 35% 成功。
揭示到达目标和正确声明完成是两种不同能力，协议本身会决定真实任务成败。
Thin Fixed Harness、Termination Protocol、Multi-agent Commanding、Closed-loop Eval。
把互联网人类操作视频转换为 actor-relative 3D 手部轨迹，并按动作而非外观检索示范。
100K trajectories、10K held-out queries；另用 831 条双手装配视频做 OOD 验证。
结合 Recall@20、mAP@20、nDCG@20 与下游机器人 policy 提升验证检索价值。
Recall@20 为 0.9964；hard task 下游最高提升约 59.8 个百分点。
说明 Embodied 数据检索可以围绕运动结构，而不仅依赖语义或视觉相似性。
3D Trajectory Canonicalization、DTW Oracle、Boundary Negatives、Retrieval → Policy。
为同一音频生成不同细节、风格和语义标签的多样化描述，构建一对多监督分布。
约 700K 个 audio clips、15M 条 captions，平均每段音频约 24 条描述。
通过人工质量检查，以及 CLAP retrieval 与 zero-shot classification 验证 multi-caption sampling。
多描述采样训练持续提升检索与零样本分类表现。
将同一音频的多种合理描述纳入监督，对多模态 caption 数据建设很有参考价值。
One-to-many Captions、Structured Diversity、Human Quality Check、Sampling Strategy。