智能问数评测：发布标题候选

每篇正文采用当前主标题，以下保留四个可选方向，不包含未经验证的效果承诺。

01 智能问数评测路线：入口怎么选，SQL和受控IR怎样对照

• 智能问数评测路线：入口怎么选，SQL和受控IR怎样对照
• API能跑通，为什么还需要企微和组件测试
• 四种测试入口各自证明什么：问数评测先选路线
• 从Text-to-SQL到受控IR，怎样设计公平对照

02 从企微问题到查询交付：智能问数的十二个观察节点

• 从企微问题到查询交付：智能问数的十二个观察节点
• 一条查数请求，怎样连到授权、SQL和实际交付
• 智能问数流程图：蓝色业务节点，橙色测试分支
• API从哪里开始测，哪些证据还需要企微

03 主Agent、数据权限与系统安全：从意图检查到故障恢复

• 主Agent、数据权限与系统安全：从意图检查到故障恢复
• 六种权限配置，怎样设计问数正负对照
• 不只看拒绝文案：权限和工具副作用怎样验证
• 意图、条件、路由和调度，主Agent专项怎样测

04 问数、分析、报告与记忆：用独立真值逐层验收

• 问数、分析、报告与记忆：用独立真值逐层验收
• SQL成功不等于数据正确：三类契约怎样检查
• 3单600元的合成数据，怎样发现JOIN与权限错误
• 报表条件变成自然语言，问数对账如何落地

05 智能问数回归与数据集：从变更影响到可比较的执行

• 智能问数回归与数据集：从变更影响到可比较的执行
• 新版通过率更高，先检查两次运行能不能比较
• 生产Bad Case如何成为可审阅的问数回归题
• 同源改写别跨分区：数据集怎样避免泄漏

06 评测框架怎样接入智能问数：从Case到证据与发布门禁

• 评测框架怎样接入智能问数：从Case到证据与发布门禁
• HTTP200不是业务通过：问数评测接入怎样验收
• 用真实Case与Trial写断言：框架能力和领域Oracle怎样分工
• 没有独立结果，outcome里的正确标记从哪里来

07 首次智能问数评测适配：工具箱、框架扩展与Harness Loop

• 首次智能问数评测适配：工具箱、框架扩展与Harness Loop
• SQLGlot、Hypothesis和DuckDB，问数评测分别怎样用
• Oracle、LLM Judge与Laya，谁负责哪种判断
• SkillOpt之前，先把真值和数据分区固定

08 一次问数请求怎样测：沿A到D1定义输入、证据和断言

• 一次问数请求怎样测：沿A到D1定义输入、证据和断言
• 沿一次查询检查身份、SQL、结果与交付
• A到D1的异常分支，怎样变成可执行断言
• Trace里的查询、结果和产物为什么要分别编号

09 五类测试怎样落地：把设计、构建、跑批和复核做成工作包

• 五类测试怎样落地：把设计、构建、跑批和复核做成工作包
• 五类测试的工作包怎样验收
• 用例构建、跑批和人工复核如何交接
• 覆盖率之前，先确认真值与断言已经就绪

10 固定一个测试账号，怎样批量验证六种数据权限

• 固定一个测试账号，怎样批量验证六种数据权限
• 六种权限配置怎样串行跑批
• 测试权限之后，旧会话和缓存还要再查一次
• 固定用户不等于伪造身份：API权限测试怎样做

11 自然语言条件怎样评测：从人工标注到归一化与多轮状态

• 自然语言条件怎样评测：从人工标注到归一化与多轮状态
• 意图识别怎样同时看正确率、召回率和完整匹配
• 用户请求范围与系统允许范围，为什么要分开评分
• 相对日期和多轮改口，标准条件怎样标注

12 报表怎样成为问数参考：条件采集、问法改写与独立对账

• 报表怎样成为问数参考：条件采集、问法改写与独立对账
• 报表条件怎样生成可审核的自然语言问数题
• 报表与助手金额不同，先检查是否在查同一件事
• 数据对账前的身份、口径、水位与完整性门

13 交付与安全怎样联合验收：从事实核对到故障恢复

• 交付与安全怎样联合验收：从事实核对到故障恢复
• 数据查对以后，回答和文件还要测什么
• 交付检查与安全恢复，为什么不能只用一个Judge
• 同一任务的事实、接收人和重复副作用怎样核验

14 测试怎样按阶段落地：依赖、人工复核、复测与交付

• 测试怎样按阶段落地：依赖、人工复核、复测与交付
• 参考、标注、执行和review，测试依赖怎样安排
• 没有新执行证据，为什么不能关闭测试失败
• 让测试交接可复查：工作包、完成门与复核队列

15 专用智能问数的基座怎样选：从产品职责到架构不变量

• 专用智能问数的基座怎样选：从产品职责到架构不变量
• 专用问数平台应该自己掌握哪些执行规则
• 从最小权限到可测试性，Agent基座怎样判断
• Hermes与Agent SDK，先比较职责再比较体验

16 Agent项目为什么难维护：把运行时耦合变成可验证的架构问题

• Agent项目为什么难维护：把运行时耦合变成可验证的架构问题
• 授权、API和会话，运行时耦合怎样审计
• 把难维护变成依赖图和变更任务
• 发现静态耦合以后，还需要哪些运行证据

17 Hermes加固、服务抽离与应用编排：三条路线怎样公平比较

• Hermes加固、服务抽离与应用编排：三条路线怎样公平比较
• 继续加固、先抽服务还是重建流程：问数路线怎样选
• 架构候选先过必须项，再谈效率和维护代价
• 同模型、同数据、同权限，才能比较编排路线

18 OpenAI Agents SDK、LangGraph与普通应用：问数框架怎样选型验证

• OpenAI Agents SDK、LangGraph与普通应用：问数框架怎样选型验证
• Agent SDK选型先做哪些契约探针
• 上下文、Guardrails和恢复状态分别能证明什么
• 普通应用也应入选：问数框架怎样公平验证

19 问数应用架构怎样落到代码：可信上下文、任务API、状态与缓存

• 问数应用架构怎样落到代码：可信上下文、任务API、状态与缓存
• 问数业务API、状态机和缓存规则怎样设计
• 模型输出只是候选：授权查询和交付由谁控制
• 取消请求、查询完成与实际交付为什么要分开

20 可测试的问数架构：依赖替身、逐节点断言与迁移复用

• 可测试的问数架构：依赖替身、逐节点断言与迁移复用
• 用QuerySpy证明拒绝后没有查询
• 旧新Agent实现怎样共用独立Oracle
• 模型替身和真实平台，分别证明哪些规则

21 问数平台怎样迁移：同条件PoC、单路交付与可验证回滚

• 问数平台怎样迁移：同条件PoC、单路交付与可验证回滚
• 迁移问数平台之前，先统一授权查询出口
• 旧新路线配对、单路交付和在途任务回滚
• 不要以启动成功代替迁移验收

推荐标签

#智能问数 #Agent评测 #测试工程