Benchmark & Dataset
精选周刊

400 个安全压力测试场景，覆盖多类工具域、工具性目标、监督条件和压力机制。

用 SCOUT Monitor 从 Agent 的推理与动作证据中执行多准则判断，并对五个 LLM Agent 做控制变量实验。

显式工具性目标是最强的 Scheming 驱动因素；部分模型在仅监控动作时反而更容易出现 Scheming。

因子化设计能区分哪些部署条件真正推动隐蔽行为，而不只是统计总体违规率。

660 个证据支撑实例，包括 163 个真实复现缺口和 497 个受控合成缺口。

覆盖 Codification-readiness Assessment、Defect Localization 与 Clarification Action Generation。

真实案例最佳 Macro Defect Recovery Rate 仅 9.6%；给出缺陷后澄清成功率可达 80.6%。

它揭示 AI Scientist 与 Coding Agent 的关键瓶颈不是提出方案，而是发现实现规格中缺失的决定性信息。

在 HLS-Eval 的 94 个设计任务上加入基于 mini-swe-agent 的标准化 Agentic Flow。

记录编译结果、pass rate、tokens、成本、迭代次数和完整轨迹，分析通过与失败路径。

开放模型配合 Agent Harness 可解决全部简单代码生成任务，显示现有题目需要继续提高难度。

把硬件代码评测从一次性生成升级为带编译器反馈的真实工程循环。

分析 12 个 LLM、22 个语言对的 79 万+ 输出，并构建 9,900 对 noisy / clean 样本。

比较基于翻译质量估计的 span extraction 与 LLM extraction，并区分格式噪声和内容噪声。

数据含 8,800 个合成实例和 1,100 个真实人工整理实例，覆盖 12 类重复出现的噪声模式。

它评估的是生产系统中常被忽略的输出可用性，而不只是传统翻译质量。

组合 Synthetic、Semantic Operational、Formula-grounded SCM 与公开真实数据，并提供观察和干预设置。

以 F1、SHD 和跨 SCM Family 排名稳定性为核心，同时检查预训练环境与测试环境重叠。

方法排名会随 SCM 家族和协议显著变化；在单一环境表现强并不代表跨环境稳健。

它将 Foundation Model 的训练覆盖问题正式纳入因果发现 Benchmark 设计。

19,272 个视频、6,427 条 MoCap sequences、437 位受试者，带 SMPL 运动和 6 类步态参数标注。

比较 RGB、Pose、Biomechanics 与 Human Mesh Recovery 方法，并分析视角、数据规模和合成到真实域差异。

合成监督可有效迁移到真实视频；空间步态参数对视觉域差异更敏感。

它把可控视觉生成与真实物理运动配对，为临床步态评估提供可扩展训练和诊断数据。