本周 Agent Evaluation 明显从短任务和静态问答走向更真实的 Discovery、Tool Use、Professional Workflow 与 Long-Horizon 场景，同时更强调 Private Holdout、Atomic Rubric、Executable Validation 与细粒度结果检查。
按研究价值、评测创新和可借鉴程度综合排序
面向未知规则发现的 Agent Benchmark。Agent 需要通过主动实验、观察结果和形成假设来推断隐藏规则。
70 个独立游戏，按 7 个难度层级组织；21 个公开，其余作为 private evaluation，且全部由人类首次尝试通关。
通过环境中的实际交互验证发现能力，比较不同难度层级的任务成功情况，并以 private holdout 降低污染风险。
把 Agent Eval 从已知任务执行推进到发现未知环境规律，更接近科学发现中的主动实验与规律归纳。
Private Holdout；未知目标；主动实验；Discovery 与 Planning 解耦；分级难度设计。
面向企业 Agent 的多跳工具使用 Benchmark，将结构化 API、检索、多源信息组合与自然语言 Tool-use Policy 放在同一评测环境中。
覆盖 62 个领域、8,000+ 个可执行 API；包含 API 交互、多跳结构化推理、多来源检索和 Policy-constrained Tool Use。
重新执行预测的 Tool Call，并允许多条有效路径；使用固定 ReAct Harness 隔离模型能力。
最佳模型在单跳 Endpoint 任务约 70.4%，复杂组合 API 降至约 50–51%。
更接近企业真实 Agent：大 API Space、Retrieval、Multi-hop Reasoning 与 Policy Compliance 被联合评估。
大规模 API Space；Executable Tool Validation；固定 Harness；Multi-hop Trajectory；Policy-constrained Evaluation。
面向专业投资研究 Agent 的真实工作流 Benchmark，覆盖信息发现、行业研究到长篇投资分析的完整流程。
220 个专家构建任务、11,543 条带来源归因的细粒度 Rubric，覆盖 6 类关键投资研究 Use Case。
在统一 Harness 和公开数据约束下，以 source-attributed rubric 对开放式长答案进行细粒度打分。
最佳系统约 56.0%，最佳单模型约 49.2%。
代表 Professional Benchmark 从知识题转向真实职业 Workflow，也说明 Harness 会显著影响专业 Agent 的质量和效率。
Expert Task；Atomic Rubric；Source Attribution；Workflow Coverage；统一 Harness 与成本效率联合分析。
评估 LLM 生成 Research Idea 的质量，重点解决直接使用 LLM 打分时标准不统一、跨生成分布不稳定的问题。
提供统一自动评测框架，并配套 PAIR-IQ pairwise idea judgment 数据，用于训练和验证更可靠的 Idea 排序模型。
衡量与专家判断的一致性、Idea Ranking Accuracy 和 Robustness；采用 Pairwise Evaluation 替代单点绝对分数。
Research Idea Evaluation 正成为 AI Scientist 的独立评测方向，核心从能否生成 Idea 转向如何稳定评价 Idea。
Pairwise Evaluation；Human Alignment；Judge Dataset；跨分布稳定性；Ranking-based Evaluation。
面向长时间序列地球观测图像的多模态推理，要求模型组织地理演化、定位空间变化、识别异常并进行逻辑预测。
约 120K QA、117K 张独立图像；序列平均 15.14 帧、最长 30 帧，覆盖 12 类任务，30K 样本带结构化推理轨迹。
覆盖演化总结、空间推理、异常识别和逻辑预测等 12 类长序列任务，并显式评估关键帧与空间区域 grounding。
长时序多模态评测开始组织 Sequence → Key Frame → Key Region → Reasoning → Answer 的完整过程。
Long Sequence；Key Frame Localization；Region Grounding；Structured Reasoning Trace；多阶段时空推理。
面向真实商业创意生成 Agent，将视觉场景理解、市场证据检索和 Business Idea Generation 组合为完整 Pipeline。
30K 样本、覆盖 6 个领域；每个样本结合图像、3 类商业问题、检索 Query、市场证据与 Evidence-augmented Synthesis。
使用 MLLM-as-a-Judge，从 6 个商业标准评估；设置 Blind Rubric（MBA-b）与 Known Rubric（MBA-k），并考虑 Creativity 与 Feasibility。
MBA-b / MBA-k 相比 Caption Baseline 提升约 63.9% / 77.1%，相比 Multimodal Baseline 提升约 25.6% / 35.8%。
展示 Multimodal → Retrieval → Generation 的端到端 Agent Benchmark，也可分析针对公开 Rubric 的过度优化。
Blind vs Known Rubric；Multimodal Evidence Retrieval；多维 Judge Criteria；Creativity + Feasibility。
研究 Coding Agent 从模型输出到 Bash 执行之间的 Serialization、Wrapper、Parser 等 Command Path 如何改变最终分数。
56 个 one-shot 任务，来自 14 类真实事故衍生问题；对 Generation Contract 与 Execution Transport 做受控交叉实验。
采用 Exact Final-State Validation；replay 同一模型输出，比较 Raw Path 与新增 Parser 路径的成功率差异。
新增 Parser 可造成 55.4–73.2 个百分点的成功率下降。
证明 Benchmark Score 不天然等价于 Model Capability，执行边界可能显著重排模型表现。
Generation Contract；Execution Path；Replay Evaluation；Final-State Validator；明确记录 Wrapper / Parser / Sandbox。
面向大型代码库的多语言代码重构 Benchmark，要求 Agent 在保持行为一致的前提下完成跨文件、长时程工程修改。
170 个真实重构任务，覆盖 7 种语言；平均修改 11.4 个文件、261.6 行代码。
通过人工审核后的 Test Suite 验证，强调移除过窄或过宽测试、重写 Issue 描述并过滤低复杂度任务。
最佳模型 Resolve Rate 约 41.2%。
Coding Agent Eval 正从单文件 Bug Fix 走向大型代码库、跨文件、多语言和行为保持型工程任务。
Expert Curation；Test Quality Audit；Contamination Resistance；Complexity Filtering；Cross-file Refactoring。
面向长期生活助理 Agent，评估其能否跨数周保持主动性、持续性和计划一致性，并处理未被显式告知的环境变化。
200 个长时程任务，覆盖 10 个生活领域；运行在多周时间线上，包含 22 个 Mock Service、Autonomous Clock 和 Silent Changes。
使用细粒度加权检查，只读取 Agent 实际留下的最终状态；同时评估 End State、Action Timeliness 和 Implicit Constraint Compliance。
开始真正评估 Persistent、Proactive、Long-running Agent，而不是一次性静态请求。
Autonomous Clock；Silent Environment Change；Implicit Constraints；Timeliness Evaluation；State-based Grading。