跳到主要内容

实验列表

最近更新 2026/10/03

创建实验​

基础信息​

进入「实验」→「实验列表」,点击右上角【创建实验】。

填写实验名称、分组和实验假设,并选择实验类型:

  • Feature 实验:用于产品功能、UI 样式和后端算法等实验,通过不同实验组下发不同的 Feature 值。
  • 外部实验:使用实验统计分析能力评估外部实验数据(后续支持)
创建实验基础信息

实验假设建议采用“如果进行某项改动,那么某个指标将提升或降低,因为该改动会产生某种影响”的结构。例如:

如果启用手册示例开关 V2,那么手册示例转化次数 V2 将提升,因为新功能可缩短用户操作路径。

点击【确认】进入实验编辑页。

配置流量、实验变量和实验分组​

开始配置前,请确认以下内容:

  1. 已进入需要开展实验的项目,并拥有 Feature、指标、流量层和实验的管理权限。
  2. 已确认实验的分流主体。系统当前支持用户 ID(#user_id)、账户 ID(#account_id)、访客 ID(#distinct_id)和设备 ID(#device_id)。
  3. 已完成实验结果事件的采集设计。创建事件指标时,需要选择已存在的业务事件及其聚合方式。
  4. 已明确实验假设、对照组方案、实验组方案、核心指标和预计运行时长。
实验变量与分组

各实验组的流量比例合计应为 100%。点击【流量均分】可快速平均分配组间流量。

设置结束条件和统计指标​

在右侧设置实验结束条件。本示例选择「运行时长」,设置为 30 天后自动结束。

在「统计指标」中至少添加一个核心指标。点击核心指标后的【添加】,将「手册示例转化次数 V2」移到已选区域后点击【保存】。次要指标为可选项。除核心指标和次要指标外,「统计指标」中还有第三类「护栏指标」。

选择核心指标

完成后的实验配置包含:

  • 流量层及层流量比例。
  • 受众条件。
  • Feature 参数、对照组和实验组配置。
  • 实验假设和结束条件。
  • 核心指标及次要指标。
实验完整配置

页面右上角提供两个保存入口:

  • 保存草稿:实验进入「草稿」,可继续编辑,不参与规则评估。
  • 保存并提交:实验进入「待运行」,完成运行前的配置提交。

本示例点击【保存并提交】,实验 ID 为 0010,状态变为「待运行」。

实验待运行

运行实验​

在待运行实验的操作列点击运行图标。系统提示运行后实验将参与规则评估,确认无误后点击【运行】。

确认运行实验

运行成功后,实验状态变为「运行中」,Feature 规则开始生效,系统开始采集实验数据。

实验运行中

查看实验统计和实验配置​

点击实验名称进入实验详情。

【实验统计】包括:

  • 实验假设和实验结论。
  • 核心指标、实验组相对对照组的表现、P 值和置信区间。
  • 实验时间轴。
  • 统计检验分析结果。
  • 进组数据和指标趋势。
实验统计运行中

实验刚开始或没有用户进组时,进组用户、P 值和置信区间可能显示为 0 或“-”。应等待足够的实验样本后再判断实验效果。

【实验配置】展示基础信息、流量层、分流主体、实验流量、Feature 参数、组间比例、各组 Feature 值和统计指标。

实验配置详情

查看结束后的报告和操作记录​

实验结束后仍可进入【实验统计】查看冻结后的报告。时间轴会保留运行、暂停、恢复和实际结束等节点。

实验统计与时间轴

点击详情页顶部【操作记录】,可查看实验的创建、提交、上线、暂停、恢复和结束时间,以及对应操作人和暂停原因。

实验操作记录

实验列表功能​

暂停和恢复实验​

运行中的实验可点击暂停图标。暂停前必须填写暂停原因。暂停后,实验规则停止生效,数据采集中断,Feature 回退到默认值。

暂停实验

暂停成功后,实验状态变为「已暂停」。

实验已暂停

需要继续实验时,再次点击运行图标,在「恢复运行」窗口中点击【确定】。恢复后实验规则重新生效。

恢复实验

结束实验​

在运行中或已暂停实验的操作列点击更多菜单,可查看报告或结束实验。

实验更多操作

点击【结束实验】后,系统会提示:

  • 实验将永久终止,无法恢复运行。
  • Feature 赋值退回下一优先级规则。
  • 实验数据冻结,但报告仍可查看。

确认无误后点击【结束】。

结束实验确认

实验状态变为「已结束」。

实验已结束

实验结束后,流量层列表显示当前已用 0%,说明流量已释放,可供后续实验使用。

流量已释放

实验列表会保留该实验配置时的「占用 100%」记录。判断流量层当前是否可用时,请以流量层列表中的「已用」比例为准。

结束后的实验详情页提供【归档】入口。归档后可通过实验列表左上角【已归档】查看。

这篇文档对你有帮助吗?