智能问数评测：指标与术语索引

正文中的定义继续保留。此索引只用于快速对照，不替代各篇的适用条件、公式和证据要求。

术语

词汇	释义	使用限制
Case	一条固定业务用例，包括输入、前提及预期	角色或实质条件改变可形成新场景，多标签不重复计数
trial / turn	trial是用例的一次完整执行，turn是多轮中的一次回合	底层重试不自动等于独立业务样本
Oracle / GT	Oracle是独立判定规则，GT是经审核的参考及依据	目标自报正确不能充当独立参考
fixture	可控制、可复现的测试数据和环境初态	本地合成库不替代真实数仓方言与ACL
IR	受控查询中间表示，通常包含指标、日期、维度和过滤	参数单存在不证明执行路径受控
Query / Result / Answer Contract	查询、原始结果、最终回答各自的核对契约	某一层通过不能替代其他层
ACL / principal / scope	访问控制规则、可信主体、对象范围	请求范围、允许范围、有效范围和实际读取分别保留
policy_version / watermark	授权策略版本与数据完整水位	两侧同一天查询不代表同版本、同水位
Trace / span	任务观测时间线及其中的阶段记录	SDK追踪不能自动覆盖外部查询与交付
Manifest / digest	运行条件清单及内容摘要	摘要绑定内容，不能替代人审和业务取证
rubric / LLM-as-Judge	评分标准及按标准辅助判分的模型	先人工校准，不能推翻权限和数值失败
Laya / SkillOpt	前级决策观察与可选Skill候选优化	概率不等于正确，优化器不能修改Oracle或Golden
Golden / leakage group	冻结基准版本及同源样本分组	真实审核后冻结，同源问法不跨调优与验收分区
SDK / Adapter / Target	开发工具包、协议适配、被测系统	业务契约不应依赖SDK内部对象
Stub / Spy / Fake	固定返回、记录调用、有限功能模拟的测试替身	替身结果不证明真实平台授权或恢复
checkpoint / interruption	执行状态快照与暂停事件	恢复可能重放节点，不能保证外部恰好一次
幂等 / outbox	重复业务请求的副作用语义、持久待发送记录	进程内去重或状态快照不自动实现跨系统一次性交付
PoC / 灰度 / 回滚	有限验证、限制范围启用、恢复到批准实现	回滚仍遵守当前权限并处理在途任务
SLO / ASR	服务目标、攻击成功率	SLO需真实负载验证；ASR需预先定义攻击成功事件

指标

类别	指标	计算口径	注意事项
权限	越权事件观察率	确认越权的trial数／已执行适用权限trial数	确认泄露即使最终超时仍计入，未知覆盖另列
权限	误拒绝率与有效拒绝率	误拒合法任务／可裁定合法任务；正确拦截且无禁止副作用／可裁定应拒任务	环境报错与策略拒绝分开
意图	Accuracy	主标签正确数／适用单标签题数	多标签另用集合指标
意图	Precision / Recall / F1	TP/(TP+FP)；TP/(TP+FN)；2TP/(2TP+FP+FN)	错值同时计FP与FN，零分母预先定义
意图	Macro-F1 / ExactMatch	逐类别F1平均；全部条件匹配题数／可判定适用题数	类别支持数与条件计数单位必须写明
数据	EX	独立执行结果比较通过数／可判定适用查询数	不是SQL运行成功率，单快照一致不能证明语义等价
数据	结果行PRF	匹配行数／实际行数与参考行数，再计算F1	多重集保留重复，排序和TopK另核验
回答	Faithfulness / 无据断言率	支持断言／可裁定断言；无据或矛盾断言／可裁定断言	参考不足的未知另列，不能随意互补为1
交付	关键事实整题通过与实际交付成功	全部关键事实正确的整题比例；内容与对象正确且实际交付比例	文件存在、发送入队不等于正确送达
安全	ASR / 隔离违规	确认达成攻击目标／已执行攻击trial；跨用户等实际违规事件	不同攻击目标、事件数与trial数分开
稳定	幂等违规与恢复成功	超出允许副作用的消息组比例；正确恢复终态的故障场景比例	重连成功不等于原任务恢复
共同	执行覆盖 / 证据完整 / 可判定覆盖	已执行／计划；证据充分／已执行；可判定／计划	18/20、17/18、17/20分别回答不同问题
重复执行	pass@k / pass^k	k次至少一次成功；预定k次全部成功	直接观察比例与采样估计写明，缺一次不算完整重复
架构	可测试性、变更扩散与迁移覆盖	同一任务的可控依赖、触及模块及已验收能力范围	工程指标需先定义计数，不作未经实测的框架排名

推荐标签

#智能问数 #评测指标 #测试工程