科学代码、Web 应用与主动视觉任务将能力放进真实闭环中验证。
3D 重建、评分规则与风险链让错误能够被分阶段定位。
上下文语义、说话人检索和多轮角色一致性补齐长期可靠性评测。
本周的共同方向，是把 Benchmark 从静态题目推进到可执行环境、可回放行为与真实行动链。ScienceIDE 用科学代码和不变量验收修改，ProgramDistill 以可回放行为验证应用重建，VA-Bench 让 Agent 主动观察并修正；与此同时，ImpossibleRubrics 开始把评分规则本身纳入审计。
Environment + Behavior + Action + Verifier
按研究价值、评测创新和可借鉴程度综合排序
在真实科学代码库和可执行环境中评估 Coding Agent 的修复、实现与加速能力。
覆盖 27 个科学代码库、64 个环境和 2,812 个验证任务；另设 85 题 ScienceIDE-Hard。
通过测试、数值结果与物理不变量验证 Agent 修改，而不是只比较文本或补丁表面相似度。
Hard 子集集中保留现有模型仍难解决的高难任务，突出科学软件中的环境依赖与领域约束。
它把科学编程评测推进到可运行、可验证的真实工程环境。
Executable Environments、Scientific Invariants、Repository-level Tasks、Hard Subset。
从交互轨迹中提炼可回放的程序行为，测试 Agent 能否重建 Web 应用的真实功能。
覆盖 26 个 Web Apps、1,975 个可回放行为和 4,063 个任务，并评测 9 个前沿 Agent。
以行为回放检查功能是否真正复现，同时按工作流深度衡量部分与完整重建成功率。
完整应用工作流中最强系统为 49.2%，次强为 28.8%；重建成功率随依赖深度上升而下降。
它用可执行行为取代静态截图或代码相似度，使软件重建评测更接近真实产品。
Replayable Behaviors、Functional Reconstruction、Workflow Depth、Execution-based Scoring。
评估具身 Agent 在主动摄像机条件下完成观察、推理、行动与修正的闭环能力。
包含 14 类基础任务、7 类留出变体，以及需要连续处理五个目标的长程轨道。
以任务成功率比较固定视角与主动视角策略，并测试对新变体和长程任务的泛化。
最佳平均成功率为 53.93±3.17%；主动摄像机在匹配条件下将成功率从 27.86% 提升到 57.50%。
它让视觉 Agent 的评测从被动看图进入主动感知和真实动作闭环。
Active Camera、Observe–Reason–Act–Revise、Held-out Variants、Long-horizon Tasks。
要求模型把真实视频重建为可编辑、可渲染的 Blender 场景，并验证时空语义是否被保留。
在 Mini-BVB Harness 中比较 10 个模型家族的 51 种配置，覆盖真实室内视频与时空问题。
结合场景渲染相似度与基于问答的时空一致性，避免只以视觉相似度判断重建质量。
最佳 Latent Similarity 达 88.6，但只保留 53.7% 的源视频正确时空答案。
它揭示看起来相似的 3D 重建仍可能丢失关键物理与时空关系。
Editable 3D Scenes、Blender Harness、Spatiotemporal QA、Semantic Fidelity。
用有可验证不可能性证明的任务，检查自动生成的评分规则是否会奖励实际上无法完成的回答。
169 个不可能任务，覆盖 6 类问题，并配有 Oracle Certificate 与 48 个可回答对照任务。
将 Rubric Generator 生成的准则用于候选回答评分，再用不可能性证明检查评分规则是否可被利用。
11 个生成器在无偏 150 题子集上的可利用率为 8–26%；通用“果断作答”规则可被利用达 64%。
它把 Rubric 本身变成被评测对象，暴露 LLM-as-a-Judge 中隐藏的错误奖励。
Oracle Certificates、Rubric Auditing、Impossible Tasks、Exploit Rate。
把敏感信息恢复与后续网页行动串成风险链，评估局部成功如何转化为现实世界危害。
包含来自 600 个会话的 3,600 个合成 Token-text 恢复输入，以及 600 个对应的人工标注本地 Web 环境。
分开衡量入口信息恢复、网页决策与实际执行失败，定位风险链各阶段的薄弱点。
Entry Top-1 为 35.2–95.2%，网页决策准确率为 26.3–62.8%；31.9% 的 Web Runs 发生执行失败。
它不把风险停留在单轮文本，而是追踪信息被恢复后能否驱动真实行动。
Risk Chains、Local Web Environments、Stage-wise Metrics、Execution Failures。
围绕同音词测试语音识别系统能否利用隐式与显式上下文恢复正确语义。
3,764 个中英文语义测试样例，覆盖隐式、显式、无关与无上下文条件。
在整体 CER/WER 之外，单独衡量目标同音词的召回，观察标准指标掩盖的语义错误。
微调使中英文隐式上下文目标召回分别提高 11.0 和 11.5 个百分点，而 CER/WER 变化不足 0.1 点。
它说明语音系统的语义可靠性不能只由整体字符或词错误率代表。
Homophone Semantics、Implicit Context、Target Recall、Bilingual Evaluation。
用文本描述检索“说了什么”，再用参考语音指定“谁在说”，评估语义与说话人联合检索。
构建文本查询、参考语音与目标片段配对的混合检索基准，并提供两阶段检索系统。
比较端到端 VoiceTrace-Emb、VoiceTrace-Reranker 与传统 ASR/说话人级联方案。
两阶段方法在既有语义语音检索任务达到 SOTA，并在新基准上显著优于级联方法。
它补齐了真实语音检索中内容与身份必须同时匹配的评测缺口。
Hybrid Retrieval、Reference Speech、Semantic Search、Two-stage Reranking。
在多轮角色扮演对话中评估 Persona 一致性、情绪目标与安全边界如何随时间失效。
310 个角色、6,688 个经人工验证的对话轮次、11,743 条细粒度准则和 1,856 个情绪目标轮次。
以逐轮规则检查 9 种配置，并记录首次 Persona 与 Safety 失败出现的位置。
最强配置首次 Persona 与 Safety 失败平均分别出现在第 10.4 和 11.6 轮。
它显示短对话中的可靠表现无法代表长期角色交互的稳定性。
Long-dialogue Evaluation、Per-turn Criteria、Persona Consistency、Safety Degradation。