manuallatest产品手册 / 可信度与校准
可信度与校准
通过历史调用信号和已知预期分数的样例,判断评估器是否稳定、是否符合业务评分预期。结果用于风险提示。
适用对象:有权编辑评估器的规则维护者。核对基线:2026-10-30 项目当前实现;已部署环境的入口可能随版本和权限有所不同。
检索关键词:Golden Case、样例库、预期分数、容差、评分偏差、可信度。
1. 查看运行稳定性
- 打开评估器详情,进入“可信度与校准”。
- 查看近 30 天的调用和解析表现、终态评分次数、调用成功率、重试及延迟。
- 区分“暂无观测”与失败。没有评分记录不表示成功率为 0,也不能证明评分器可靠。
2. 添加校准样例
- 在“样例库”点击“添加样例”,首次添加时系统自动准备内部样例库,无需手动创建校准套件。
- 填写“测试变量(JSON)”,包含当前 Prompt 所需的全部变量,以及准备好的问题、回答和参考内容。
- 填写 0—1 的预期分数和允许误差。保存后确认样例出现在已保存列表中。
- 建议分别准备高分、低分和边界样例。表单中尚未保存的内容不会参与校准。
示例变量:
{"input":"所有订单都能退款吗?","output":"所有订单都能无条件退款。","reference_output":"应按订单条件和退款规则判断,并非所有订单都能退款。"}
例如预期分数为 0、允许误差为 0.1,实际评分与预期的绝对差值不超过 0.1 才符合该条预期。此数值仅为演示,应由业务规则确定。
3. 运行并解释结果
- 点击“运行校准”,等待当前校准结束;运行期间不要重复提交。
- 查看每条样例的预期分数、实际分数、偏差、容差与 Reason。区分“偏差超限”和“执行错误”。
- 先用“只看需关注样例”定位问题,再查看全部结果。结合解析成功率、对齐通过率、平均绝对误差和最大绝对误差调整评分规则。
- 修改模型或 Prompt 后重新校准;历史校准出现过期提示时,不要继续把旧结果当作当前配置的验证结论。
4. 维护与边界
删除样例前确认选择;删除后它不再参与后续校准,但不影响已有校准记录。少量样例通过只能说明这些样例上的表现,不能证明覆盖所有场景。校准不阻断评估任务,也不会自动决定是否发布 Agent;这不是通用人工标注平台。
5. 下一步与相关页面
返回使用手册首页:
这篇文档对你有帮助吗?

