实验列表
创建实验
基础信息
进入「实验」→「实验列表」,点击右上角【创建实验】。
填写实验名称、分组和实验假设,并选择实验类型:
- Feature 实验:用于产品功能、UI 样式和后端算法等实验,通过不同实验组下发不同的 Feature 值。
- 外部实验:使用实验统计分析能力评估外部实验数据(后续支持)
实验假设建议采用“如果进行某项改动,那么某个指标将提升或降低,因为该改动会产生某种影响”的结构。例如:
如果启用手册示例开关 V2,那么手册示例转化次数 V2 将提升,因为新功能可缩短用户操作路径。
点击【确认】进入实验编辑页。
配置流量、实验变量和实验分组
开始配置前,请确认以下内容:
- 已进入需要开展实验的项目,并拥有 Feature、指标、流量层和实验的管理权限。
- 已确认实验的分流主体。系统当前支持用户 ID(
#user_id)、账户 ID(#account_id)、访客 ID(#distinct_id)和设备 ID(#device_id)。 - 已完成实验结果事件的采集设计。创建事件指标时,需要选择已存在的业务事件及其聚合方式。
- 已明确实验假设、对照组方案、实验组方案、核心指标和预计运行时长。
各实验组的流量比例合计应为 100%。点击【流量均分】可快速平均分配组间流量。
设置结束条件和统计指标
在右侧设置实验结束条件。本示例选择「运行时长」,设置为 30 天后自动结束。
在「统计指标」中至少添加一个核心指标。点击核心指标后的【添加】,将「手册示例转化次数 V2」移到已选区域后点击【保存】。次要指标为可选项。除核心指标和次要指标外,「统计指标」中还有第三类「护栏指标」。
完成后的实验配置包含:
- 流量层及层流量比例。
- 受众条件。
- Feature 参数、对照组和实验组配置。
- 实验假设和结束条件。
- 核心指标及次要指标。
页面右上角提供两个保存入口:
- 保存草稿:实验进入「草稿」,可继续编辑,不参与规则评估。
- 保存并提交:实验进入「待运行」,完成运行前的配置提交。
本示例点击【保存并提交】,实验 ID 为 0010,状态变为「待运行」。
运行实验
在待运行实验的操作列点击运行图标。系统提示运行后实验将参与规则评估,确认无误后点击【运行】。
运行成功后,实验状态变为「运行中」,Feature 规则开始生效,系统开始采集实验数据。
查看实验统计和实验配置
点击实验名称进入实验详情。
【实验统计】包括:
- 实验假设和实验结论。
- 核心指标、实验组相对对照组的表现、P 值和置信区间。
- 实验时间轴。
- 统计检验分析结果。
- 进组数据和指标趋势。
实验刚开始或没有用户进组时,进组用户、P 值和置信区间可能显示为 0 或“-”。应等待足够的实验样本后再判断实验效果。
【实验配置】展示基础信息、流量层、分流主体、实验流量、Feature 参数、组间比例、各组 Feature 值和统计指标。
查看结束后的报告和操作记录
实验结束后仍可进入【实验统计】查看冻结后的报告。时间轴会保留运行、暂停、恢复和实际结束等节点。
点击详情页顶部【操作记录】,可查看实验的创建、提交、上线、暂停、恢复和结束时间,以及对应操作人和暂停原因。
实验列表功能
暂停和恢复实验
运行中的实验可点击暂停图标。暂停前必须填写暂停原因。暂停后,实验规则停止生效,数据采集中断,Feature 回退到默认值。
暂停成功后,实验状态变为「已暂停」。
需要继续实验时,再次点击运行图标,在「恢复运行」窗口中点击【确定】。恢复后实验规则重新生效。
结束实验
在运行中或已暂停实验的操作列点击更多菜单,可查看报告或结束实验。
点击【结束实验】后,系统会提示:
- 实验将永久终止,无法恢复运行。
- Feature 赋值退回下一优先级规则。
- 实验数据冻结,但报告仍可查看。
确认无误后点击【结束】。
实验状态变为「已结束」。
实验结束后,流量层列表显示当前已用 0%,说明流量已释放,可供后续实验使用。
实验列表会保留该实验配置时的「占用 100%」记录。判断流量层当前是否可用时,请以流量层列表中的「已用」比例为准。
结束后的实验详情页提供【归档】入口。归档后可通过实验列表左上角【已归档】查看。

