跳到主要内容

快速开始

最近更新 2026/10/30

通过一个最小示例,完成从准备样例到查看评分结果的第一次评测。首次使用建议先采用“预置结果”,熟悉评分链路后再接入在线 Agent。

适用对象:首次使用平台的业务人员和测试人员。核对基线:2026-10-30 项目当前实现;已部署环境的入口可能随版本和权限有所不同。

检索关键词:入门、登录、项目选择、第一次评测、预置结果。

1. 登录并确认项目​

  1. 从所在环境的 Agent 评测入口进入。TE SSO 环境按页面引导完成登录;出现项目选择页时,主动选择有权限的项目。
  2. 没有可访问项目时,使用“切换账号”,或联系管理员确认授权。项目未选择前不会加载评测业务数据。
  3. 进入后可看到“评测集”“评估器”“评估任务”“接入配置”。管理员还可看到“用户管理”。

2. 准备一份最小评测集​

以下是演示数据,不代表平台内置业务规则。将内容保存为 UTF-8 CSV 文件,例如 first-evaluation.csv。

question,answer,reference_answer
"7天内可以申请退款吗?","符合条件的订单在7天内可以申请退款。","符合条件的订单在7天内可以申请退款。"
"所有订单都能退款吗?","所有订单都能无条件退款。","并非所有订单都能退款,应按订单条件和退款规则判断。"
  1. 进入“评测集”,点击“导入评测集”,填写名称并上传示例 CSV,点击“开始导入”。
  2. 进入详情,等待导入完成,核对字段和两条样例;在“版本记录”确认已有已发布版本。字段在后续配置中以实际字段键为准。

3. 准备评分模型和评估器​

  1. 先在“接入配置 → 模型”准备一个可调用的评分模型;若项目已有可用模型,可以直接复用。TE SSO 下的 AE Agent 模型自动使用当前登录凭证。
  2. 进入“评估器”,点击“新建”,填写名称后创建,进入详情页。
  3. 选择评分模型,填写下面的 Prompt,检查自动提取的变量后点击“保存评估器”,确认产生已发布版本。
判断待评回答是否符合参考答案。
问题:{{input}}
待评回答:{{output}}
参考答案:{{reference_output}}
评分:完全符合为1,部分符合为0.5,明显矛盾为0。
只返回JSON:{"Score": 0到1的数值, "Reason": "说明评分依据"}

4. 创建并运行​

  1. 进入“评估任务 → 新建评估任务”,填写一个在当前项目中未被占用的任务名称。
  2. 被测对象选择“预置结果”,选择刚才的评测集和已发布版本。
  3. 选择刚才的评估器及已发布版本,完成映射:input 对应问题字段,output 对应已有回答字段,reference_output 对应参考答案字段。
  4. 检查样例数与预计评分次数,点击“确认并启动评估”。系统直接对已有回答评分,不调用被测 Agent。

5. 检查是否完成​

任务进入终态后,打开“结果”查看有效评分数、平均分和每条 Case 的 Score、Reason。打开“配置”核对运行快照。第一次评测的完成标准是:样例与评分记录对应、评分来源可解释、失败时能找到具体失败阶段。

示例中的低质量回答用于演示定位;LLM Judge 的评分具有不确定性,不承诺每次得到完全相同的数值。熟悉后改用 Agent 或大模型作为被测对象,步骤见“创建评估任务与字段映射”。

6. 下一步与相关页面​

返回使用手册首页:

AI评测平台

这篇文档对你有帮助吗?