创建评估任务与字段映射
把数据、被测对象和评分规则组合成可执行任务。页面按任务配置、评估器、字段映射和高级设置组织,完成后可暂存或启动。
适用对象:已准备评测集和评分规则的使用者。核对基线:2026-10-30 项目当前实现;已部署环境的入口可能随版本和权限有所不同。
检索关键词:新建任务、Agent、大模型、预置结果、字段映射、输入模板、随机抽样。
1. 开始前准备
- 评测集已导入完成,包含样例并有已发布版本。
- 评分模型已配置,评估器已完整保存并有已发布版本。
- 在线 Agent 模式需要可访问的 Agent 配置;大模型模式需要被测模型;预置结果模式只需要数据中的已有回答。
2. 选择被测对象与版本
- 进入“评估任务 → 新建评估任务”,填写任务名称和可选描述。
- 选择被测对象,选择评测集及已发布版本。在线模式再选择 Agent 或模型配置。
- 选择 1—8 个评估器,并为各评估器选择已发布版本。可用“查看规则”阅读完整 Prompt。
| 被测对象 | 执行方式 | 适用场景 |
|---|---|---|
| Agent | 逐条调用 Agent,再交给 Judge 评分。 | 验证回答质量,或在证据支持时验证工具执行过程。 |
| 大模型 | 逐条调用模型,再交给 Judge 评分。 | 验证模型在指定输入下的回答,不产生 Agent 工具证据。 |
| 预置结果 | 读取 Case 中已有内容,直接交给 Judge。 | 评估离线回答、历史输出或其他系统准备的结果。 |
3. 完成字段映射
左侧是调用或评分需要的变量,右侧选择当前评测集版本中的来源。显示名称与字段键可能不同,模板引用必须使用界面给出的实际字段键。
| 目标变量 | 在线 Agent 示例 | 预置结果示例 |
|---|---|---|
| Agent 的 input | 绑定 question 字段。 | 不配置 Agent 输入。 |
| Judge 的 input | 绑定 question 字段。 | 绑定 question 字段。 |
| Judge 的 output | 系统注入 Agent 的实际输出。 | 手动绑定 answer 字段。 |
| Judge 的 reference_output | 绑定 reference_answer 字段。 | 绑定 reference_answer 字段。 |
以上字段名仅为示例,必须以自己数据中的实际字段为准。Agent 的必填输入必须全部映射;每个评估器的普通变量均需绑定,不能因为变量名相似就假定已自动关联。单个评估器变量绑定一个字段。
大模型模式优先自动识别主输入字段。自动识别不明确时,选择一个输入字段或使用输入模板。模型实际回答自动提供给 output。预置结果的 output 没有系统输出语义,必须像其他普通变量一样选择来源。
execution_status、tool_summary、artifact_summary、execution_trace、tool_calls 依赖 Agent 执行。大模型或预置结果模式不能选择依赖这些证据的评估器。
4. 拼装多字段输入
- 需要合并上下文和问题时,打开对应输入的模板编辑框。
- 从可用字段复制占位符,编写下面形式的输入模板。
- 检查未知字段、占位符语法与长度提示,保存模板。模板会替代该项单字段输入,并随运行快照冻结。
业务上下文:{{context}}
用户问题:{{question}}
在线 Agent 的 TEXT 输入模板仅可引用 TEXT 字段;大模型输入模板可以引用任意类型字段。模板必须引用有效字段,最长 16000 UTF-8 字节。当前版本字段尚未加载时无法校验或启动;不存在的字段会明确报错。大模型模板中某条 Case 缺少已声明字段的值时,该占位符渲染为空文本,应核对数据是否符合业务预期。
5. 抽样、暂存与启动
- 可在“高级设置”填写随机抽样 Case 数量;留空运行全部,填写时必须为大于 0 且不超过样例总数的整数。
- 检查样例数和预计评分次数。预计次数为本次样例数乘评估器数,不代表所有评分最终都会成功。
- 尚未配置完成时点击“暂存”;准备就绪后点击“确认并启动评估”,等待进入结果页。
- 启动失败时查看提示并修正,草稿会保留。先确认实际任务状态,避免重复发起。
每次启动独立随机抽样;需要固定样例范围时,使用专门评测集版本。页面虽可显示“上报到数数”开关,但当前数据上报配置入口未开放,首次评测建议保持默认关闭,已部署上报由管理员核对配置后再使用。
任务可携带最多 5 个冻结的结果筛选字段(TEXT、NUMBER、BOOLEAN)。本版创建页面未提供独立选择控件,不应把所有动态列都视为默认可筛选字段;结果页按实际冻结配置展示。
6. 下一步与相关页面
返回使用手册首页:

