manuallatest产品手册 / 评估器
评估器
评估器用 LLM Judge 判断回答或执行证据的质量,把评分标准沉淀为可复用规则。每次评分固定返回 Score 和 Reason。
适用对象:评分规则维护者和评测使用者。核对基线:2026-10-30 项目当前实现;已部署环境的入口可能随版本和权限有所不同。
检索关键词:LLM Judge、Prompt、rubric、变量、Score、Reason、评估器版本。
1. 创建并配置评估器
- 进入“评估器”,点击“新建”,填写名称;也可选择“从模板创建”,预览并选用已启用模板。
- 创建后进入详情的“基本配置”,选择分类、模型配置,填写 Prompt 和说明。初始草稿尚不能用于评测。
- 使用 {{input}}、{{output}} 等双花括号引用变量。变量从 Prompt 自动提取,名称以小写字母开头,仅包含小写字母、数字和下划线,最长 64 个字符。
- 检查评分标准、模型和变量,点击“保存评估器”。有效保存后自动生成已发布版本;在“版本记录”确认版本。
2. 写清评分标准
Prompt 应说明评判目标、输入与参考答案的含义、分档规则、扣分条件及输出要求。不要只写“请评价好坏”。以下为示例,可按业务替换。
你是回答一致性评估员。
问题:{{input}}
参考答案:{{reference_output}}
待评回答:{{output}}
以参考答案为依据:完整一致记1;正确但遗漏要点记0.5;明显矛盾记0。
只返回一个JSON对象,包含数值Score(0至1)和非空字符串Reason。
Score 为 0—1,越高表示越符合本评估器标准。Reason 解释判断依据。输出无法解析、分数越界或 Reason 为空时,该项评分失败并保留空分,不记为 0。当前只支持 LLM Judge,不支持自定义输出字段或 Code Evaluator。
3. 变量如何获得内容
| 变量来源 | 配置位置与规则 |
|---|---|
| 普通变量,如 input、reference_output | 在评估任务中绑定当前 Case 的一个评测集字段;名称不要求与字段名一致。 |
| output | 在线 Agent / 大模型任务来自实际输出;预置结果任务中必须手动选择已有回答字段。 |
| execution_status、tool_summary、artifact_summary | 仅在线 Agent 可用,由系统提供执行证据。 |
| execution_trace、tool_calls | 仅在线 Agent 的过程评测可用,依赖完整且可用于评分的执行轨迹快照。 |
依赖工具或执行轨迹的评估器不能用于大模型直调或预置结果。判断最终回答与判断工具链路可以采用两个评估器,分别解释结果质量与过程质量。
4. 优化 Prompt 与校准
- 需要优化时点击“提示词优化”,选择已有模型并生成建议。先阅读结果,再点击“确认回填”。
- 回填只更新表单,仍需保存评估器,才能形成可复用的新版本。
- 使用“可信度与校准”维护预期分数已知的样例,检查解析和评分一致性,具体见对应子页。
5. 复用、版本与删除
列表支持搜索、复制和删除。复制创建独立评估器,保存前核对名称、模型和 Prompt。修改工作副本或发布新版本不会改变已绑定旧版本的任务和历史结果;任务需明确选择要使用的已发布版本。模板后续修改也不会自动更新已有评估器。
6. 下一步与相关页面
- 统一可复用评分规则:评估模板。
- 验证评分表现:可信度与校准。
- 绑定变量并运行:创建评估任务与字段映射。
返回使用手册首页:
这篇文档对你有帮助吗?

