manuallatest产品手册 / AI评测平台
AI评测平台
AI评测平台帮助团队批量验证 Agent、大模型或已有回答的质量:使用评测集准备样例,用 LLM Judge 评估器定义标准,创建评估任务执行,再查看分数、原因和执行证据。
适用对象:业务测试人员、Agent / 模型维护者、评分规则维护者与项目管理员。本手册按读者任务组织,每个主题保留固定入口,跨模块通过相关页面继续阅读。
首版核对日期:2026-10-30。内容依据项目当前产品资料、页面实现与权限规则编写;部署版本可能不同,实际可用入口应与对应版本核对。
1. 第一次使用
从“快速开始”完成一次最小评测,再按需要切换为在线 Agent 或大模型。
- 完成第一次评测:快速开始。
2. 按目标进入
3. 常用入口
- 选择 Agent、大模型或预置结果并绑定输入:创建评估任务与字段映射。
- 解释有效评分、低分、失败与 Trace:查看结果与执行轨迹。
- 按小时、天、周或月执行:定时任务。
- 从内置或项目模板建立规则:评估模板。
- 检查 Judge 是否符合预期:可信度与校准。
4. 理解几个关键对象
| 对象 | 解决的问题 |
|---|---|
| 评测集 / Case | 用什么数据测;Case 是一条样例。 |
| 模型 / Agent 配置 | 调用什么服务、使用什么身份和参数。 |
| 评估器 / LLM Judge | 按什么规则打分;固定返回 Score(0—1)和 Reason。 |
| 任务版本 / Run | 配置怎样保存,以及某次实际执行的状态、快照和结果。 |
5. 如何查找说明
数据导入和版本看“评测集”;评分规则、模板和校准看“评估器”;输入模板、字段绑定和运行结果看“评估任务”;服务连接和凭证看“接入配置”;共享与成员管理看“权限与成员”。界面路径使用引号标出,演示字段名和数值均不代表系统内置业务规则。
6. 本版范围与结果边界
- 支持 Agent、大模型与预置结果三类被测对象,支持固定周期定时评测。
- 评分失败与无分数不等于 0 分;平均分只依据有效评分。
- 已发布资产版本与 Run 快照用于保留历史事实,后续编辑不自动改变历史结果。
- 执行轨迹只解释本次评测中实际采集的证据,不是完整模型推理或通用线上可观测平台。
- 当前默认页面未开放 AI Monitor 导入与数据上报配置入口;Azure 新建模型、OpenCode 新建 Agent 也不作为本版操作入口。
- 不提供自动发布门禁、通用人工复核、Code Evaluator 或自动跨版本对比。
上级手册:Agentic Engine。
这篇文档对你有帮助吗?

