科研 Agent、通用 Agent 与 Coding Agent 都开始进入更真实、更完整的工作流。
Memory 不再只看召回，Safety 也从单次攻击扩展到完整生命周期。
高精度数据、物理有效性和可执行规则成为新的设计重心。
评测正在从“最终答案是否正确”，转向对完整过程的验证：任务是否来自真实需求、产物能否执行、状态是否持续有效、规则是否真正被遵守。
Evaluation is becoming executable, stateful & real.
按研究价值、评测创新和可借鉴程度综合排序
测试 AI 能否从执行已知方法，走向自主选择方法并完成可验证的科学研究。
60 个项目级任务，覆盖 11 个科学领域，由 40+ 位专家投入 31,000+ 小时构建。
同一科研项目设置四级方法指导，逐级撤除人类提示；产物在沙盒中执行，并由经过验证的评分器评估。
18 个 Agent-Model 配置中，平均分从完整指导下的 50.91 降至只给方法名时的 29.10，自主决定方法时降至 26.62。
把“会不会做”进一步拆成“能否自己决定怎么做”，更接近真正的自主科研能力。
Progressive Guidance Removal、Method Selection / Execution 分离、Sandbox Execution。
从真实 AI 创业产品和用户工作流中，提炼端到端专业任务。
97 个真实工作流，覆盖 6 个职业领域；每项任务平均包含 25.3 个细粒度 Rubric。
要求交付 XLSX、DOCX、PPTX、PDF 等真实工作产物，用加权原子 Rubric 判断核心要求是否满足。
以 Score ≥ 90 作为成功阈值时，最强模型成功率约 30%。
任务来源已经过市场验证，减少研究者凭空设计任务带来的偏差；最强系统严格成功率仍约 30%。
Market-validated Task Sourcing、Artifact-first Evaluation、Atomic Weighted Rubric。
把 Coding Agent 从通用 GitHub Issue 推进到需要专业科学知识的软件工程。
119 个任务，来自 98 个 GitHub 仓库，覆盖 20 个科学领域。
包含 Issue-driven、Expert-exploratory、Engineering-integration 三类任务，使用可执行测试衡量 pass@1。
最强 Agent 的 pass@1 仍低于 50%。
不仅给出成功率，还系统分析科学知识缺口、表层修复、集成不完整等失败机制。
Failure Mechanism Taxonomy、Domain Knowledge Ablation、Repository-level Verification。
不只测“记没记住”，而是测 Agent 是否知道当前仍然有效的状态。
234 个多会话场景，覆盖研究协作、购物和个人财务，包含两种对话长度。
闭集评分区分当前状态、已被覆盖的旧状态及其他错误，隔离 state drift。
StateMem 在 DeepSeek-V4-Flash 上将 current-state accuracy 从 0.205 提升至 0.363；应用于六种 memory / retrieval backend 时提升 32–67 个百分点。
长对话中的核心问题往往不是检索不到，而是检索到了已经失效的信息。
Current vs. Stale State、Supersession Tracking、Dependency Re-computation。
自动发现模型在真实交互中的意外行为，并用反事实编辑验证行为解释。
每个提示采样 30 次；每项调查执行 5–15 个反事实实验，并由独立 Judge 验证。
预测器根据行为解释判断特定提示编辑是否会改变模型行为，以真实实验结果作为标签。
三类 activation-reading interpretability tools 未带来明显提升；反事实实验数据训练对 held-out / OOD 场景有泛化收益。
把看似合理的解释转化为可被实验反驳或支持的预测，避免只评价解释是否“听起来对”。
Counterfactual Experiment、Behavior Discovery、Explanation Verification。
从配置到恢复，系统评估 Agent Harness 整个生命周期中的安全风险。
128 个沙盒案例，覆盖配置、扩展、运行、持久化、行动控制和事故恢复 6 个阶段。
每条轨迹同时评估 Utility、Attack Success、Persistence 与 Detection。
不同配置 Attack Success Rate 为 12.6%–80.9%，同时 Utility 仍保持 75.0%–97.6%。
揭示“识别出攻击”与“真正阻止攻击”是两件事，且安全性属于模型与 Harness 的组合。
Safety / Utility 双指标、Lifecycle Coverage、Persistent-state Audit。
面向人形智能的大规模高精度全身运动与物体交互数据集。
约 617.5 小时高精度动作数据，其中约 245.7 小时为 HOI；提供同步 Object Trajectory、OBJ Mesh、文本描述与丰富 Metadata。
从动作空间多样性、交互落地、物体一致性及 Physical AI 应用多个维度评估。
在互联网视频的规模与实验室动捕的精度之间，提供更完整的数据基础。
Frame-guided Coverage、High-fidelity Capture、Physical Consistency。
根据空间指代表达，在 3D 场景中生成满足语义与物理约束的放置位置。
33,826 条指令、998 个场景、16 类放置关系，包含直接及一跳、两跳指代。
将预测位置插入场景，重新计算空间关系，同时检查关系满足度与物理有效性。
Fine-tuning 后 LLaVA-3D、3D-LLM、PlaceIt3D 的 valid placement 分别约为 68.3%、31.6%、22.4%。
正确答案不是唯一坐标，而是一个可接受区域，更贴近真实空间任务。
Region-based Ground Truth、Relation Re-computation、Physical Validity。
让多模态模型在视觉迷宫中理解自然语言规则，并规划合规路径。
可控制规则复杂度与场景组合，支持系统生成新规则和未见规则测试。
自动将自然语言规则翻译成逻辑表示和可执行 Validator，逐步验证规划轨迹。
自动生成 Validator 在人工检查前达到约 93.3% correctness，最终所有 Validator 均人工验证。
把视觉感知、规则理解和路径规划拆开，能更清楚地定位模型失败在哪里。
Natural Language → Logic → Executable Validator、Disentangled Planning。