跨源配置批量上传
通过上传配置功能, 可在EXCEL中快速编辑配置的字段和资产信息, 实现单次批量创建跨源配置
操作时可先通过页面创建流程先创建1个跨源配置, 然后将其导出并在EXCEL内复制、修改
1. 批量上传流程
EXCEL上传配置 说明
2. EXCEL模板
📎 跨源资产映射模板_空白.xlsx（69 KB） 📎 跨源资产映射模板_含样例.xlsx（83 KB）3. 子表说明
在EXCEL中编辑跨源资产配置时, 存在以下子表
- 跨源资产配置列表
- 标签表明细配置
- 事件属性明细配置
- 事件名明细配置
- 事件及事件属性关系配置
- 实体表明细配置
- 维度表明细配置
- 枚举值配置
跨源资产配置EXCEL子表预览
各个子表的功能用途如下
| 子表名称 | 类型 | 使用场景 |
|---|---|---|
| 跨源资产配置列表 | 通用 | 每一行对应一条跨源资产配置, 其中需声明配置的数据源、资产类型、配置字段 等信息 |
| 标签表明细配置 | 标签表 | 跨源标签表的 资产列表, 包含 原始资产名称、取值方式、输出资产名称等信息 |
| 事件属性明细配置 | 事件表 | 跨源事件表 中事件属性类的资产列表, 包含 原始资产名称、取值方式、输出资产名称 等信息 |
| 事件名明细配置 | 事件表 | 跨源事件表 中事件类的资产列表, 包含 输出事件名称、原始事件列表 等信息 |
| 事件及事件属性关系配置 | 事件表 | 跨源事件表 中事件属性与事件的匹配关系 |
| 实体表明细配置 | 实体表 | 跨源实体表 中的资产列表, 包含 原始资产名称、取值方式、输出资产名称等信息 |
| 维度表明细配置 | 维度表 | 跨源维度表 中的资产列表, 包含 原始资产名称、取值方式、输出资产名称等信息 |
| 枚举值配置 | 通用 | 配置 标签、事件属性、实体属性、维度属性 的枚举值 |
⚠ 实际使用时可按需填写对应的子表, 如:
- 配置跨源标签表时填写: <跨源资产配置列表>、<标签表明细配置>
- 配置跨源事件表时填写: <跨源资产配置列表>、<事件属性明细配置>、<事件名明细配置>、<事件及事件属性关系配置>
- 对部分资产需要配置枚举值时, 在上述基础上额外填写: <枚举值配置>
4. 跨源资产配置_通用字段说明
| 跨源资产配置名称 | 跨源资产配置显示名 | 配置说明 | 资产类型 | 数据源选择 | 宽高类型 | 配置详情 | 状态 |
|---|---|---|---|---|---|---|---|
| route_tag_all_key | ★★标签表全字段模板★★ | 配置详情展示所有配置字段及说明 ★★★★★★★★★★ | 标签表 | hive.ws_test.welletltzi | 宽表 | 主体列: efsad_col_1 分析主体: 用户 ---上传前删除此线--- 标签名称列: tag_name 标签值列: tag_value ---上传前删除此线--- 标签日期版本:仅历史版本/仅最新版本/历史及最新版本 日期信息列:col_FOULK 日期信息格式:yyyyMMdd |
表头字段预览
各个字段说明如下
| 字段名 | 说明 |
|---|---|
| 跨源资产配置名称 | 当前配置的名称, 小写字母开头,可包含数字、小写字母、下划线, 长度限制 80字符 |
| 跨源资产配置显示名 | 当前配置的显示名, 长度限制 80字符 |
| 配置说明 | 当前配置的备注说明, 长度限制 200字符 |
| 资产类型 | 可设置 标签表、事件表、实体表、维度表 |
| 数据源选择 | 数据源名称, 需填写全名, 如: hive.ws_test.tbl_name |
| 宽高类型 | 宽表 或 高表, 仅"标签表"资产支持设置为高表 |
| 配置详情 | 根据不同资产, 以 "名称: 值" 格式填写字段配置信息, 详见下方 "资产特殊字段说明" 章节 |
| 状态 | 跨源配置的校验状态, 下载时系统自动填充, 无需填写 |
5. 资产列表_通用字段说明
在第一个子表中声明配置后, 需要在对应类型的资产明细配置中设置该配置下的资产列表
例如: 在第一个子表中声明了存在"跨源标签表"配置, 名称为route_config_01, 则在<标签表明细配置>需要配置的标签列表样例如下
| 跨源资产配置名称 | 原始标签名 | 原始标签类型 | 输出标签名 | 输出标签显示名 | 取值方式 | 输出标签类型 | 扩展信息 | 枚举值逻辑 | 状态 |
|---|---|---|---|---|---|---|---|---|---|
| route_config_01 | tag_01 | 数值 | tag_01 | 标签_01 | 数值 | 更新方式:手动上传 | |||
| route_config_01 | tag_02 | 时间 | tag_02 | 标签_02 | 时间 | 值时区:8 备注:时间类标签扩展"值时区" | 更新方式:手动上传 | ||
| route_config_01 | tag_03 | 文本 | tag_03 | 标签_03 | 文本 | 备注:额外的说明内容 | 更新方式:手动上传 | ||
| route_config_01 | tag_04 | 列表 | tag_04 | 标签_04 | 列表 | 更新方式:手动上传 | |||
| route_config_01 | tag_05 | 列表 | tag_05 | 标签_05 | 列表 | 备注:额外的说明内容 | 更新方式:手动上传 |
标签资产列表_预览
在不同资产类型中的表头字段也略有不同, 以下统一使用{资产}代替
各类资产均需填写的字段如下, 其他特殊字段及配置逻辑参见 "资产特殊字段说明" 章节说明
| 字段名称 | 说明 |
|---|---|
| 跨源资产配置名称 | 当前资产信息对应的跨源配置名称, 需在<跨源资产配置列表>填写 |
| 原始{资产}名 | 通常情况下填写数据源中的列名(宽表)或数据行值(高表) |
| 原始{资产}类型 | 下载时系统自动填充, 无需填写 |
| 输出{资产}名 | 设置对应资产的名称, 需符合对应资产的规范 |
| 输出{资产}显示名 | 设置对应资产的显示名, 需符合对应资产的规范 |
| 取值方式 | 需要对值进行特殊处理时可填写SQL函数, 填写后将忽略"原始资产名" |
| 输出{资产}类型 | 设置对应资产的数据类型, 有取值方式时需填写经过处理后的数据类型 |
| 扩展信息 | 资产的其他配置信息, 通常为"备注", 不同场景下可能存在其他配置字段 |
| 枚举值逻辑 | 仅数值、文本、列表 类型的资产支持枚举值配置, 当前仅支持设置为 "更新方式: 手动上传" |
| 状态 | 下载时系统自动填充, 无需填写 |
6. 各类资产特殊字段说明
不同资产的配置信息可能存在级联依赖关系, 可参考对应资产<配置说明>手册中的介绍内容
EXCEL同样存在相关的依赖和校验逻辑, 并在此基础上提供了批量编辑和上传功能
6.1 跨源标签表
🔵 配置详情
该板块信息填写在<跨源资产配置列表>子表中的 "配置详情" 列内
多个字段以 "名称: 值" 的形式, 使用换行分隔, 写在对应的单元格中
| 资产类型 | 配置详情 |
|---|---|
| 标签表 | 主体列: efsad_col_1 分析主体: 用户 ---上传前删除此线--- 标签名称列: tag_name 标签值列: tag_value ---上传前删除此线--- 标签日期版本:仅历史版本/仅最新版本/历史及最新版本 日期信息列:col_FOULK 日期信息格式:yyyyMMdd |
跨源标签表_配置详情预览
| 字段名称 | 字段类别 | 必要性 | 逻辑说明 | 样例值 |
|---|---|---|---|---|
| 主体列 | 主体信息 | 必填 | 数据源中记录标签主体信息的列 | user_name |
| 分析主体 | 主体信息 | 必填 | 项目中与数据源对应的分析主体 | 玩家 |
| 标签名称列 | 取值信息 | 仅"高表"时填写 | 高表中记录标签名称的列 | tag_name |
| 标签值列 | 取值信息 | 仅"高表"时填写 | 高表中记录大部分标签值的列 | tag_value |
| 标签日期版本 | 日期版本信息 | 必填 | 标签数据是否包含日期信息以及记录方式 | 仅历史版本, 仅最新版本, 历史及最新版本 |
| 日期信息列 | 日期版本信息 | "标签日期版本" 不等于 "仅最新版本"时填写 | 数据源中记录标签值日期信息的列 | tag_date |
| 日期信息格式 | 日期版本信息 | "标签日期版本" 不等于 "仅最新版本"时填写 | 数据源中记录标签值日期信息的格式 | yyyyMMdd |
🔵 资产名称及数据类型
跨源标签输出资产支持以下数据类型:
文本、数值、布尔、时间、列表
属性名称需小写字母开头, 仅包含 小写字母、数字、下划线, 长度不超过 80字符
关于取值方式的复杂场景可参考: 跨源配置复杂场景及SQL样例
🔵 标签的扩展信息
跨源标签需配置 "值时区" 字段, 用于标记标签值所对应的时区, 默认值为 "当地时间"(99)
分析、运营套件中的部分功能仅能使用具有相同时区配置的标签
| 输出标签类型 | 扩展信息 |
|---|---|
| 布尔 | 值时区: 99 |
| 数值 | 值时区: 99 |
| 数值 | 备注:额外的说明内容 值时区: 99 |
跨源标签_扩展信息预览
6.2 跨源维度表
🔵 配置详情
该板块信息填写在<跨源资产配置列表>子表中的 "配置详情" 列内
多个字段以 "名称: 值" 的形式, 使用换行分隔, 写在对应的单元格中
| 资产类型 | 配置详情 |
|---|---|
| 维度表 | 主体属性表类型: 事件属性 主体属性: item_id 主体列: item_id ---上传前删除此线--- 时间粒度: 小时 |
跨源维度表_配置详情预览
| 字段名称 | 字段类别 | 必要性 | 逻辑说明 | 样例值 |
|---|---|---|---|---|
| 主体属性表类型 | 主体信息 | 必填 | 需要关联维度信息的主体属性为 事件属性 或 用户属性 | 事件属性 |
| 主体属性 | 主体信息 | 必填 | 需要关联维度信息的主体属性名称 | item_id |
| 主体列 | 主体信息 | 必填 | 数据源中与主体属性关联的数据列名称 | item_id |
| 时间粒度 | 特殊匹配逻辑 | 仅"主体属性"为时间类型时填写 | 若主体属性为"时间", 则在关联时需要截断的时间粒度 | 月 |
⚠ 若主体属性的数据类型为"时间", 则在配置详情中需填写"时间粒度", 同时主体列的类型必须为"文本", 且内容格式为 yyyy-MM-dd HH:mm:ss
使用场景: 主体属性为"注册时间", 业务上特定月份存在拉新活动, 并且数据源A的首列记录了拉新活动的月份(如: 2025-01-01), 此时需将主体属性的时间粒度同样设置为月, 并与数据源A中的首列进行关联
🔵 资产名称及数据类型
跨源维度属性输出资产支持以下数据类型:
文本、数值、布尔、时间
属性名称需小写字母开头, 仅包含 小写字母、数字、下划线, 长度不超过 80字符
关于取值方式的复杂场景可参考: 跨源配置复杂场景及SQL样例
6.3 跨源实体表
当前版本跨源实体表用于替换上报的 "用户属性", 为避免影响其他功能, 以下信息需通过运维命令配置
「数据源名称」、「主体列」
在EXCEL中配置时需注意
- 单个项目仅能存在1条 "实体表" 跨源配置
- 「跨源资产配置名称」需填写固定值
user_entity_route - 「数据源选择」需填写
hive.ws_product.entity - 「配置详情」需填写
key: value
🔵 配置详情
该板块信息填写在<跨源资产配置列表>子表中的 "配置详情" 列内
多个字段以 "名称: 值" 的形式, 使用换行分隔, 写在对应的单元格中
| 资产类型 | 配置详情 |
|---|---|
| 实体表 | 主体列: (需通过运维配置)此处保留占位 ---上传前删除此线--- 数据更新时间列: update_time_pix |
跨源实体表_配置详情预览
| 字段名称 | 字段类别 | 必要性 | 逻辑说明 | 样例值 |
|---|---|---|---|---|
| 主体列 | 主体信息 | 必填 | 数据源中记录用户识别信息的列, 影响用户下钻功能 | user_id |
| 数据更新时间列 | 数据时效信息 | 非必填 | 数据源中记录数据更新时间的列, 用于智能运营套件 | update_time |
🔵 资产名称及数据类型
跨源维度属性输出资产支持以下数据类型:
文本、数值、布尔、时间、列表、对象、对象组
属性名称需小写字母开头, 仅包含 小写字母、数字、下划线, 长度不超过 80字符
对象组子属性用英文句号分隔父属性名与子属性名
关于取值方式的复杂场景可参考: 跨源配置复杂场景及SQL样例
6.4 跨源事件表
🔵 配置详情
该板块信息填写在<跨源资产配置列表>子表中的 "配置详情" 列内
多个字段以 "名称: 值" 的形式, 使用换行分隔, 写在对应的单元格中
| 资产类型 | 配置详情 |
|---|---|
| 事件表 | 主体列: 代表用户id的列名称(选填,影响用户数据下钻) ---上传前删除此线--- 事件名取值方式: 读取列值/固定值 事件名称: 事件名为固定值时填写 事件名称列: 事件名称所在的列名称 ---上传前删除此线--- 事件时间取值方式: 读取列值/自定义SQL 事件时间列: 事件时间所在的列名称 事件时间逻辑: 自定义SQL时填写 ---上传前删除此线--- 事件时区取值方式: 读取列值/固定值/自定义SQL 事件时区: 时区为固定值时填写 事件时区列: 事件时区所在的列名称 事件时区逻辑: 自定义SQL时填写 ---上传前删除此线--- 数据分区方式: 单列日期分区/自定义下推逻辑 日期信息列: 日期分区所在的列名称 日期信息格式: yyyy-MM-dd/yyyymmdd 下推逻辑: 自定义下推逻辑的SQL |
跨源事件表_配置详情预览
| 字段名称 | 字段类别 | 必要性 | 逻辑说明 | 样例值 |
|---|---|---|---|---|
| 主体列 | 主体信息 | 选填 | 代表用户id的列名称,影响用户数据下钻 | user_id |
| 事件名取值方式 | 事件名信息 | 必填 | 读取列值/固定值 | 读取列值 |
| 事件名称 | 事件名信息 | 事件名取值方式=固定值 时填写 | 事件名为固定值时填写 | user_login |
| 事件名称列 | 事件名信息 | 事件名取值方式=读取列值 时填写 | 事件名称所在的列名称 | event_name |
| 事件时间取值方式 | 事件时间信息 | 必填 | 读取列值/自定义SQL | 读取列值 |
| 事件时间列 | 事件时间信息 | 事件时间取值方式=读取列值 时填写 | 事件时间所在的列名称 | event_time |
| 事件时间逻辑 | 事件时间信息 | 事件时间取值方式=自定义SQL 时填写 | 自定义SQL时填写 | try_cast( ts as timestamp ) |
| 事件时区取值方式 | 事件时区信息 | 必填 | 读取列值/固定值/自定义SQL | 读取列值 |
| 事件时区 | 事件时区信息 | 事件时区取值方式=固定值 时填写 | 时区为固定值时填写 | 8 |
| 事件时区列 | 事件时区信息 | 事件时区取值方式=读取列值 时填写 | 事件时区所在的列名称 | tz |
| 事件时区逻辑 | 事件时区信息 | 事件时区取值方式=自定义SQL 时填写 | 自定义SQL时填写 | try_cast( tz as double ) |
| 数据分区方式 | 数据分区信息 | 必填 | 单列日期分区/自定义下推逻辑 | 单列日期分区 |
| 日期信息列 | 数据分区信息 | 数据分区方式=单列日期分区 时填写 | 日期分区所在的列名称 | pt |
| 日期信息格式 | 数据分区信息 | 数据分区方式=单列日期分区 时填写 | yyyy-MM-dd/yyyymmdd | yyyy-MM-dd |
| 下推逻辑 | 数据分区信息 | 数据分区方式=自定义下推逻辑 时填写 | 自定义下推逻辑的SQL |
自定义下推逻辑详细说明可参考: 跨源配置复杂场景及SQL样例
🔵 跨源事件表需要配置的资产
配置跨源事件表时, 需要设置以下三类资产:
- 事件属性明细配置
- 事件名明细配置
- 事件及事件属性关系配置
🔵 事件属性名称及数据类型
跨源事件属性输出资产支持以下数据类型:
文本、数值、布尔、时间、列表、对象、对象组
属性名称需小写字母开头, 仅包含 小写字母、数字、下划线, 长度不超过 80字符
对象组子属性用英文句号分隔父属性名与子属性名
关于取值方式的复杂场景可参考: 跨源配置复杂场景及SQL样例
🔵 事件名明细配置
| 跨源资产配置名称 | 输出事件名 | 原始事件列表 | 输出事件显示名 | 扩展信息 | 状态 |
|---|---|---|---|---|---|
| route_event_config | device_first | 设备激活 | |||
| route_event_config | login | ('login1', 'login2','login3') | 登录 | 备注: 3个版本名称变更汇总 | |
| route_event_config | level_up | ('lv_u') | 等级提升 |
事件名明细配置预览
第一列填写对应的跨源配置名称, 输出事件名、原始事件列表 等信息可根据需求场景填写
事件名称需小写字母开头, 仅包含 小写字母、数字、下划线, 长度不超过 60字符
场景A: 直接以事件名称列内的值作为输出事件名
- 在输出事件名称中填写原始值即可
场景B: 将多个原始事件合并为一个输出事件
- 例如: 同一个含义的事件由于埋点版本变更, 存在多个原始事件名称
- 在 "输出事件名" 中填写预期的事件名
- 在 "原始事件列表" 内用 英文的括号、单引号、逗号 填写需要合并的原始事件列表, 如: ( 'login1', 'login2' )
场景C: 原始的事件变更名称
- 与上述场景B操作方法一致, 填写输出事件名称后, 在原始事件列表中填写1个事件名称即可, 如: ( 'login_old' )
🔵 事件及事件属性关系配置
| 跨源资产配置名称 | 事件名称 | 事件属性名称 |
|---|---|---|
| route_event_config | device_first | channel |
| route_event_config | login | channel |
| route_event_config | level_up | channel |
| route_event_config | level_up | level_after |
| route_event_config | level_up | map_id |
事件及事件属性关系配置预览
第一列填写对应的跨源配置名称
第二列和第三列分别填写存在关联的事件名称和属性名, 若事件与多个属性存在关联, 则填写多行 (如: level_up )