跳到主要内容

AI评测平台

最近更新 2026/10/30

AI评测平台帮助团队批量验证 Agent、大模型或已有回答的质量:使用评测集准备样例,用 LLM Judge 评估器定义标准,创建评估任务执行,再查看分数、原因和执行证据。

适用对象:业务测试人员、Agent / 模型维护者、评分规则维护者与项目管理员。本手册按读者任务组织,每个主题保留固定入口,跨模块通过相关页面继续阅读。

首版核对日期:2026-10-30。内容依据项目当前产品资料、页面实现与权限规则编写;部署版本可能不同,实际可用入口应与对应版本核对。

1. 第一次使用​

从“快速开始”完成一次最小评测,再按需要切换为在线 Agent 或大模型。

2. 按目标进入​

3. 常用入口​

4. 理解几个关键对象​

对象解决的问题
评测集 / Case用什么数据测;Case 是一条样例。
模型 / Agent 配置调用什么服务、使用什么身份和参数。
评估器 / LLM Judge按什么规则打分;固定返回 Score(0—1)和 Reason。
任务版本 / Run配置怎样保存,以及某次实际执行的状态、快照和结果。

5. 如何查找说明​

数据导入和版本看“评测集”;评分规则、模板和校准看“评估器”;输入模板、字段绑定和运行结果看“评估任务”;服务连接和凭证看“接入配置”;共享与成员管理看“权限与成员”。界面路径使用引号标出,演示字段名和数值均不代表系统内置业务规则。

6. 本版范围与结果边界​

  • 支持 Agent、大模型与预置结果三类被测对象,支持固定周期定时评测。
  • 评分失败与无分数不等于 0 分;平均分只依据有效评分。
  • 已发布资产版本与 Run 快照用于保留历史事实,后续编辑不自动改变历史结果。
  • 执行轨迹只解释本次评测中实际采集的证据,不是完整模型推理或通用线上可观测平台。
  • 当前默认页面未开放 AI Monitor 导入与数据上报配置入口;Azure 新建模型、OpenCode 新建 Agent 也不作为本版操作入口。
  • 不提供自动发布门禁、通用人工复核、Code Evaluator 或自动跨版本对比。

上级手册:Agentic Engine。

这篇文档对你有帮助吗?