Benchmark Weekly
ISSUE 10 · 2026 / W42

Benchmark & Dataset
精选周刊

时间范围2026.10.12 — 2026.10.18
本周入选09 项
BENCHMARK / DATASET08 / 01
01 / OVERVIEW

入选内容总结

3运行中系统

交付、实时交互与持续演化把结果验收放进真实环境。

3变量与评分可审计

长时域、空间状态和数据洞察被拆成可定位的原子指标。

3世界记忆与本地化

动态记忆、心理支持和多语言工具链扩展 Agent 可靠性边界。

本期观察

本周趋势观察

本周 Benchmark 更强调运行中的系统、主动隔离变量与可审计的原子评分。FDE-Gym、Realtime-Bench 和 EvoWeb 把部署结果、时间约束与跨轮回归纳入验收;LADDER 与 Grid-Bench 用受控难度曲线定位长链路退化;J-tau 则把多语言评测提升为环境级本地化。

Environment × Time × Atomic Verifiers
02 / TOP PICKS

本周精选

按研究价值、评测创新和可借鉴程度综合排序

04
BenchmarkAgent / 模型评测较高:GitHub 49 stars / 10 forks

50 个合成患者×3 次连续会话,用临床心理学家定义的 14 类问题 rubric 评估非危机心理支持。

作者
John Mendonça 等
机构
Sword Health、NVIDIA、IST、Yale
发布时间
2026.10.15(v1)
规模 / 特点

50 位患者、150 个 session、每次最多 30 turn,覆盖 18 个模型。

评测方式 / 指标

以 14 类临床问题和 0/1/5/10 严重度逐回复判分,并按患者 bootstrap。

为什么值得关注

把拟真度、纵向记忆和临床可操作 rubric 放进同一链路。

可借鉴点

分层 profile、模拟器对抗筛选、问题类型×严重度评分。

05
Benchmark多模态 Agent较高(编辑判断)

50 个实时网页与游戏任务,用 Wall / Paused / Token 三种时钟把服务延迟与时间感知能力拆开。

作者
Jingyu Tang 等
机构
UT Austin、NVIDIA 等
发布时间
2026.10.15(v1)
规模 / 特点

30 个网页任务、20 个游戏任务;公开 v1.0 中的 20 题。

评测方式 / 指标

统一 click/type/scroll/wait 动作,每题重复 3 次并报告 success 与 Pass³。

代表性结果

Wall Clock 下最佳 success 44%、最佳 Pass³ 36%。

为什么值得关注

它把服务延迟直接纳入交互环境动力学。

可借鉴点

三时钟协议、时间窗口与任务级 success checker。

06
BenchmarkCoding Agent中等:代码、数据、轨迹均开放

32 个 Web 应用各经历 10 次累积需求,浏览器 Agent 每轮检查新增、跨轮集成与回归功能。

作者
David Nukrai 等
机构
Two Delta Labs、特拉维夫大学等
发布时间
2026.10.12(v1)
规模 / 特点

32 个应用、320 个累积请求,并用依赖图刻画跨轮关系。

评测方式 / 指标

沿持久代码库顺序开发,每轮浏览器验收新增、集成和历史回归。

为什么值得关注

它暴露一次性 coding benchmark 看不到的集成债务。

可借鉴点

功能依赖 DAG、持续代码库、历史回归与演化曲线。

07
Benchmark多模态 / 世界模型较高:GitHub 15 stars

260 个视频世界记忆样例,分测身份、外观、几何保持与离屏事件演化,并加入多次回访。

作者
Nan Zhou 等
机构
浙江大学、复旦大学、蚂蚁、南京大学
发布时间
2026.10.13(v1)
规模 / 特点

200 个静态记忆 case、60 个动态 case、23 类语义。

评测方式 / 指标

固定首次观察为 reference,多次回访评身份、几何、事件启动与持续。

代表性结果

领先系统静态表现较强,但规定事件启动率仅 31.7%。

为什么值得关注

它把世界模型的离屏记忆与动态演化明确拆开。

可借鉴点

多次回访、事件启动/持续分离、相机跟随单列。

08
Benchmark模型评测 / 空间推理中等(编辑判断)

1,488 个可执行样例覆盖 8 类操作、2D/3D/4D 网格和最长 64 步事件历史,逐单元核验完整终态。

作者
Zixiang Xu 等
机构
USC 等多机构
发布时间
2026.10.15(v1)
规模 / 特点

1,488 个实例、248 条 reference trajectory、6 种历史长度。

评测方式 / 指标

执行器生成 gold state,同时报告完整匹配与单元级更新/保留误差。

为什么值得关注

它让空间推理错误可定位、可量化,而不止一个总准确率。

可借鉴点

同轨迹多 prefix、完整状态与局部误差并行、双实现校验。

09
BenchmarkTool Agent / 多语言评测较高:GitHub 15 stars / 203 commits

278 个日语客服任务覆盖航空、零售、电信;不仅翻译,还本地化实体、人工复核并修复原基准计分缺陷。

作者
Chihiro Yano 等
机构
SB Intuitions、名古屋大学
发布时间
2026.10.14(v1)
规模 / 特点

278 个任务:航空 50、零售 114、电信 114。

评测方式 / 指标

结合数据库状态、工具调用与自然语言 assertion,并将空响应和畸形 JSON 计为失败。

为什么值得关注

它证明多语言 Agent benchmark 必须做环境级本地化。

可借鉴点

同步本地化数据库与工具,发布任务变更账本,多次试跑筛无解题。