manuallatest产品手册 / 快速开始
快速开始
通过一个最小示例,完成从准备样例到查看评分结果的第一次评测。首次使用建议先采用“预置结果”,熟悉评分链路后再接入在线 Agent。
适用对象:首次使用平台的业务人员和测试人员。核对基线:2026-10-30 项目当前实现;已部署环境的入口可能随版本和权限有所不同。
检索关键词:入门、登录、项目选择、第一次评测、预置结果。
1. 登录并确认项目
- 从所在环境的 Agent 评测入口进入。TE SSO 环境按页面引导完成登录;出现项目选择页时,主动选择有权限的项目。
- 没有可访问项目时,使用“切换账号”,或联系管理员确认授权。项目未选择前不会加载评测业务数据。
- 进入后可看到“评测集”“评估器”“评估任务”“接入配置”。管理员还可看到“用户管理”。
2. 准备一份最小评测集
以下是演示数据,不代表平台内置业务规则。将内容保存为 UTF-8 CSV 文件,例如 first-evaluation.csv。
question,answer,reference_answer
"7天内可以申请退款吗?","符合条件的订单在7天内可以申请退款。","符合条件的订单在7天内可以申请退款。"
"所有订单都能退款吗?","所有订单都能无条件退款。","并非所有订单都能退款,应按订单条件和退款规则判断。"
- 进入“评测集”,点击“导入评测集”,填写名称并上传示例 CSV,点击“开始导入”。
- 进入详情,等待导入完成,核对字段和两条样例;在“版本记录”确认已有已发布版本。字段在后续配置中以实际字段键为准。
3. 准备评分模型和评估器
- 先在“接入配置 → 模型”准备一个可调用的评分模型;若项目已有可用模型,可以直接复用。TE SSO 下的 AE Agent 模型自动使用当前登录凭证。
- 进入“评估器”,点击“新建”,填写名称后创建,进入详情页。
- 选择评分模型,填写下面的 Prompt,检查自动提取的变量后点击“保存评估器”,确认产生已发布版本。
判断待评回答是否符合参考答案。
问题:{{input}}
待评回答:{{output}}
参考答案:{{reference_output}}
评分:完全符合为1,部分符合为0.5,明显矛盾为0。
只返回JSON:{"Score": 0到1的数值, "Reason": "说明评分依据"}
4. 创建并运行
- 进入“评估任务 → 新建评估任务”,填写一个在当前项目中未被占用的任务名称。
- 被测对象选择“预置结果”,选择刚才的评测集和已发布版本。
- 选择刚才的评估器及已发布版本,完成映射:input 对应问题字段,output 对应已有回答字段,reference_output 对应参考答案字段。
- 检查样例数与预计评分次数,点击“确认并启动评估”。系统直接对已有回答评分,不调用被测 Agent。
5. 检查是否完成
任务进入终态后,打开“结果”查看有效评分数、平均分和每条 Case 的 Score、Reason。打开“配置”核对运行快照。第一次评测的完成标准是:样例与评分记录对应、评分来源可解释、失败时能找到具体失败阶段。
示例中的低质量回答用于演示定位;LLM Judge 的评分具有不确定性,不承诺每次得到完全相同的数值。熟悉后改用 Agent 或大模型作为被测对象,步骤见“创建评估任务与字段映射”。
6. 下一步与相关页面
- 准备正式数据:评测集。
- 切换为在线评测:创建评估任务与字段映射。
- 配置评分模型:模型。
返回使用手册首页:
这篇文档对你有帮助吗?

