Benchmark Weekly
← 返回归档
ISSUE 09 · 2026 / W41

Benchmark & Dataset
精选周刊

时间范围2026.10.05 — 2026.10.11
本期入选09 项
BENCHMARK / DATASET08 / 01
01 / OVERVIEW

入选内容总结

3可执行 Agent 环境

3D 设计、城市分析和规则学习都要求在环境反馈中迭代。

3过程与证据审计

贡献规范、证据拓扑和诊断前置题让失败可定位。

3多模态真实可用性

UI 工程、空间预测和事实核验拆开“看起来对”与“真的对”。

本期观察

本期趋势观察

可执行环境正在成为高质量 Benchmark 的标配,评分也从最终结果走向过程与结构。BrickBench、DUDA-Bench 与 Learn2Play 让 Agent 在环境反馈中迭代;SWE-CC、TopoGraphRAG 与 SAVU-Bench 则审计轨迹、证据拓扑与前置失败。

Atomic Tasks + Deterministic Verifiers + Trace Audits
02 / TOP PICKS

第 09 期精选

按研究价值、评测创新和可借鉴程度综合排序

04
BenchmarkAgent / 城市多模态分析中高

DUDA-Bench

12 城市、5 类问题,含 86 个原子任务与 22 个端到端工作流。

作者
Yizhi Song 等
机构
HKUST (Guangzhou)
发布时间
2026.10.07(v1)
规模 / 特点

86 个 atomic tasks、22 个 workflow tasks,跨 4 个分析阶段。

评测方式 / 指标

分别报告识别、定位、指标 F1、Workflow Score 与成本。

代表性结果

最佳 Workflow Score 仍不足 0.3。

为什么值得关注

高质量展示如何把专家分析流程翻译成层级 Agent 任务。

可借鉴点

Atomic/workflow 双层设计、证据传播与成本记录。

05
Dataset多模态 Coding / UI中高

2,861 个生产设计、97,652 条专家标注;评需求推断、约束实现和 React 生成。

作者
Chengwei Shi 等
机构
Zhejiang University 等
发布时间
2026.10.07(v1)
规模 / 特点

2,861 个设计、183,697 个图层、97,652 条标注;公开评测子集 421 个设计。

评测方式 / 指标

拆分 requirement prediction、code implementation 与 visual fidelity。

为什么值得关注

揭示视觉复刻好并不等于工程实现正确。

可借鉴点

需求、约束与视觉三轴评分,并显式标注可替代实现。

06
Benchmark多模态 RAG / Eval Infra中高

201 份长文档、2,024 题;显式控制单跳、桥接链和多源综合三类证据拓扑。

作者
Ruochi Li 等
机构
North Carolina State University 等
发布时间
2026.10.07(v1)
规模 / 特点

201 份视觉丰富长文档、2,024 道问题、3 类证据拓扑。

评测方式 / 指标

同时评分检索、答案、faithfulness 与 topology-aware step coverage。

为什么值得关注

从召回相关页推进到恢复和组织完整证据路径。

可借鉴点

保存 gold topology,并用反事实替换检查捷径。

07
Benchmark音视频多模态 / 空间推理中

SAVU-Bench

1,066 道主榜题与 611 道诊断题,覆盖感知、对齐、推理 3 层 7 项任务。

作者
Yu Chen 等
机构
University of Western Australia 等
发布时间
2026.10.07(v1)
规模 / 特点

主榜 1,066 题、诊断集 611 题,含 81 道空间推理题。

评测方式 / 指标

用同场景 grounding 与 alignment 前置题定位高层推理失败来源。

为什么值得关注

真实空间音频仍是多模态模型的重要短板。

可借鉴点

Prerequisite graph、语义/空间负例分离与专家一致性门槛。

08
BenchmarkAgent 学习 / 长程交互中

20 个规则陌生或反直觉的文本游戏,区分经验学习与预训练记忆。

作者
Yibo Li 等
机构
National University of Singapore
发布时间
2026.10.06(v1),10.08(v2)
规模 / 特点

20 个文本游戏;普通游戏 5 个 episode,挑战游戏 10 个。

评测方式 / 指标

报告峰值、均值、学习增益和斜率,并切换实例测试迁移。

为什么值得关注

有意识排除规则记忆捷径,直接观察 Agent 的迭代学习。

可借鉴点

新规则游戏、学习曲线、实例重排与 harness 消融。

09
Benchmark多模态事实核验中

WorldFact-Bench

1,274 对来源对齐的真/假图像,测试开放世界事实一致性。

作者
Zhuohong Chen 等
机构
Ant Group、Tsinghua University 等
发布时间
2026.10.08(v1)
规模 / 特点

1,274 对 real–fake 图像,覆盖 4 种核验机制和 10 个领域。

评测方式 / 指标

用 pair accuracy 要求同一对真图与假图都判对,并抑制标签偏置。

为什么值得关注

把图像检测从纹理和图内合理性扩展到现实世界一致性。

可借鉴点

成对样本、单一可核验冲突与显式证据状态。