跳到主要内容

创建评估任务与字段映射

最近更新 2026/10/30

把数据、被测对象和评分规则组合成可执行任务。页面按任务配置、评估器、字段映射和高级设置组织,完成后可暂存或启动。

适用对象:已准备评测集和评分规则的使用者。核对基线:2026-10-30 项目当前实现;已部署环境的入口可能随版本和权限有所不同。

检索关键词:新建任务、Agent、大模型、预置结果、字段映射、输入模板、随机抽样。

1. 开始前准备​

  • 评测集已导入完成,包含样例并有已发布版本。
  • 评分模型已配置,评估器已完整保存并有已发布版本。
  • 在线 Agent 模式需要可访问的 Agent 配置;大模型模式需要被测模型;预置结果模式只需要数据中的已有回答。

2. 选择被测对象与版本​

  1. 进入“评估任务 → 新建评估任务”,填写任务名称和可选描述。
  2. 选择被测对象,选择评测集及已发布版本。在线模式再选择 Agent 或模型配置。
  3. 选择 1—8 个评估器,并为各评估器选择已发布版本。可用“查看规则”阅读完整 Prompt。
被测对象执行方式适用场景
Agent逐条调用 Agent,再交给 Judge 评分。验证回答质量,或在证据支持时验证工具执行过程。
大模型逐条调用模型,再交给 Judge 评分。验证模型在指定输入下的回答,不产生 Agent 工具证据。
预置结果读取 Case 中已有内容,直接交给 Judge。评估离线回答、历史输出或其他系统准备的结果。

3. 完成字段映射​

左侧是调用或评分需要的变量,右侧选择当前评测集版本中的来源。显示名称与字段键可能不同,模板引用必须使用界面给出的实际字段键。

目标变量在线 Agent 示例预置结果示例
Agent 的 input绑定 question 字段。不配置 Agent 输入。
Judge 的 input绑定 question 字段。绑定 question 字段。
Judge 的 output系统注入 Agent 的实际输出。手动绑定 answer 字段。
Judge 的 reference_output绑定 reference_answer 字段。绑定 reference_answer 字段。

以上字段名仅为示例,必须以自己数据中的实际字段为准。Agent 的必填输入必须全部映射;每个评估器的普通变量均需绑定,不能因为变量名相似就假定已自动关联。单个评估器变量绑定一个字段。

大模型模式优先自动识别主输入字段。自动识别不明确时,选择一个输入字段或使用输入模板。模型实际回答自动提供给 output。预置结果的 output 没有系统输出语义,必须像其他普通变量一样选择来源。

execution_status、tool_summary、artifact_summary、execution_trace、tool_calls 依赖 Agent 执行。大模型或预置结果模式不能选择依赖这些证据的评估器。

4. 拼装多字段输入​

  1. 需要合并上下文和问题时,打开对应输入的模板编辑框。
  2. 从可用字段复制占位符,编写下面形式的输入模板。
  3. 检查未知字段、占位符语法与长度提示,保存模板。模板会替代该项单字段输入,并随运行快照冻结。
业务上下文:{{context}}
用户问题:{{question}}

在线 Agent 的 TEXT 输入模板仅可引用 TEXT 字段;大模型输入模板可以引用任意类型字段。模板必须引用有效字段,最长 16000 UTF-8 字节。当前版本字段尚未加载时无法校验或启动;不存在的字段会明确报错。大模型模板中某条 Case 缺少已声明字段的值时,该占位符渲染为空文本,应核对数据是否符合业务预期。

5. 抽样、暂存与启动​

  1. 可在“高级设置”填写随机抽样 Case 数量;留空运行全部,填写时必须为大于 0 且不超过样例总数的整数。
  2. 检查样例数和预计评分次数。预计次数为本次样例数乘评估器数,不代表所有评分最终都会成功。
  3. 尚未配置完成时点击“暂存”;准备就绪后点击“确认并启动评估”,等待进入结果页。
  4. 启动失败时查看提示并修正,草稿会保留。先确认实际任务状态,避免重复发起。

每次启动独立随机抽样;需要固定样例范围时,使用专门评测集版本。页面虽可显示“上报到数数”开关,但当前数据上报配置入口未开放,首次评测建议保持默认关闭,已部署上报由管理员核对配置后再使用。

任务可携带最多 5 个冻结的结果筛选字段(TEXT、NUMBER、BOOLEAN)。本版创建页面未提供独立选择控件,不应把所有动态列都视为默认可筛选字段;结果页按实际冻结配置展示。

6. 下一步与相关页面​

返回使用手册首页:

AI评测平台

这篇文档对你有帮助吗?