跨源资产配置
该功能为增值型功能，请确认您的系统版本是否已开通对应的增值业务。
1. 功能简介
跨源资产配置: 将跨源的数据源转换成数据资产
"跨源资产配置" 功能可通过一系列配置信息，将 "非AE原生的数据" 读取并转换为 "AE内的数据资产"
如: 标签，事件及事件属性，实体属性 等
"非AE原生的数据" 包括: 数据直连 功能所连接的外部数据表、数据集成 功能所生成的数据表、任务流 功能所生成的数据表
| 资产类型 | 使用场景 | 资产下游管理 |
|---|---|---|
| 标签表 | 将 宽表、高表 类型的外源数据结构转换为AE的跨源标签 | 在<用户标签>页面内查看 |
| 事件表 | 将记录事件信息的宽表转换为AE中的事件及事件属性 | 在<事件> <事件属性> 中的"来源资产管理"中查看 |
| 实体表 | 将记录用户信息的宽表转换为AE中的实体属性(用户属性) | 在<用户属性> 中的"来源资产管理"中查看 |
| 维度表 | 将维度关系信息宽表转换为某个属性的的维度属性 | <事件属性> 或 <用户属性> 页面内查看 |
2. 列表页说明
管理页说明
各字段说明如下
| 字段名 | 说明 |
|---|---|
| 配置名 | 跨源配置的名称， 需小写字母开头，名称内容仅支持小写字母、数字、下划线
|
| 配置显示名 | 支持中英文，长度小于 80 |
| 配置说明 | 支持中英文，长度小于 200 |
| 校验状态 |
|
| 资产类型 | 支持: 事件表、标签表、实体表、维度表
|
| 数据源 | 数开平台中的数据源名称，需完整填写 数据名录.表限定.表名称 |
| 数据源说明 | 从数开平台读取的数据源说明 |
| 宽高类型 | 解析数据源时的逻辑， 枚举值为
|
| 配置详情 | 解析资产时的关键配置信息 |
| 创建时间 | 跨源配置的创建时刻 |
| 操作 |
|
- 批量上传功能支持在EXCEL编辑配置信息后, 直接生成多个跨源配置, 详情参见: 跨源配置批量上传
3. 页面创建流程说明
点击列表页右上角的 [新建] 功能按钮, 即可进入跨源配置的页面创建流程, 需选择创建的跨源资产类型
跨源资产类型选择
页面创建流程共分为三步, 分别为: 配置数据源、跨源配置、基本信息
3.1 配置数据源
跨源配置流程1
3.1.1 选择数据源
需选择 <数据开发平台> 授权给当前项目使用的数据源
若 数据源列表为空、找不到需要的数据源, 请联系数开成员确认数据源是否已经授权给当前项目
初始化状态
数据源列表
选择数据源后, 可点击 [预览] 按钮, 获取数据源的概要信息
包含: 数据预览、表结构预览、SQL语句
3.1.2 数据预览
系统随机查询数据源内的30条样例数据并进行展示, 以便于确认其中值的内容格式
如: 名称类数据的文本格式、时间类数据的精度
数据预览
3.1.3 表结构预览
展示数据源所有的列信息, 包含 名称、数据类型、备注, 以便于确认数据值是否需进行类型转换
如: "88"(文本) 无法进行数学运算类操作, 需通过 try_cast() 方法转换为 88.0(数值)
表结构预览
3.1.4 SQL语句
展示查询数据源的SQL语句, 便于直接复制到 "SQL查询" 功能中使用
如: 增加 where 条件筛查异常数据、测试值处理SQL函数
SQL语句预览
3.2 跨源配置
跨源配置流程2
该步骤需配置两类信息:
- 数据源中关键字段的解析方式
- 需要输出的跨源资产列表
跨源字段及资产列表预览
3.2.1 配置字段
由于解析逻辑不同, 各类资产存在的特有的配置字段和逻辑, 将在以下文档中分别说明:
3.2.2 资产列表
资产列表功能用于在读取数据源后, 生成对应的资产
如: 读取标签类型的数据源后, 生成多个标签, 每个标签需配置 名称、取值方式、输出类型、备注、枚举值 等信息
⚠ 不同资产类型在配置时可能存在额外字段, 此处仅对通用功能部分进行说明, 额外部分将在各类型的文档中单独分场景讲解
资产列表预览
a.资产添加
系统提供两种资产添加方式
🟦 扫描资产
- 填写配置字段信息后, 系统根据对应的资产逻辑, 扫描数据源并生成初始化的资产清单, 便于用户在此基础上进行删改
- 扫描后, "原始资产类型" 将以数据源的类型为准, 并按照AE系统允许的类型进行过滤, 对于不支持的类型, 系统将显示数据源中的底层类型名称, 如: object、binary
🟦 单个添加
- 点击后资产清单首行添加一条空白记录, 此时用户可手动填写资产信息
- 手动添加时, "原始资产类型" 默认为空, 并在校验后自动更新
b.数量概览及异常显示
- 功能区右上角展示 "总数据"、"异常数据" 信息, 便于用户获知当前资产清单的概况
- "仅显示异常" 在勾选后, 系统将筛选并展示列表中存在填写异常的信息
⚠异常校验范围针对"当前配置", 若此处填写的资产和项目中其他资产存在冲突, 异常详情将在提交时校验并提示
异常资产展示预览
c.列表字段及功能
在不同资产类型中, 列表字段的名称可能为"标签"、"属性" 等, 为便于说明, 以下统称为"资产"
每一条配置将输出一个跨源资产, 配置信息包含 输入、处理、输出 三大类内容
🔵 原始资产名
跨源资产对应的原始输入资产
如: 宽表结构标签中, 每一列对应一个标签, 则此处应填写原始的列名称
🔵 原始资产类型
在扫描资产或校验后, 系统自动读取并展示对应的数据源原始列数据类型, 如: 文本、数值、时间
⚠对于不支持的类型, 系统将显示数据源中的底层类型名称, 如: object、binary, 此时需通过取值方式进行处理
🔵 输出资产名 & 输出资产显示名
系统生成跨源资产的名称和显示名, 需符合对应资产类型的名称要求
如: 标签名称长度不超过80字符、事件名称长度不超过60字符
🔵 取值方式
未填写时, 系统直接按照 "原始资产名称" 读取值
需要对值进行处理时, 可填写SQL函数, 结合 数据源中的列名 进行处理
如: 通过 try_cast( pay_amount as double ) 函数, 读取数据源中 pay_amount 的列并转换为数值类型
⚠ 填写取值方式后, 系统将忽略"原始资产名称", 以实现多列拼接、单列拆分等逻辑
⚠ 对象组的子属性不支持设置取值方式, 特殊处理需在父属性层级设置
🔵 输出资产类型
默认场景下, 输出资产类型 与 原始资产类型 保持一致即可
⚠ 填写了 "取值方式" 后, 此处需选择处理后的数据类型, 如: col原始类型为文本, 通过 try_cast( col as double) 处理后, 此处需选择 "数值"
🔵 扩展信息
除了上述以外的资产信息将折叠至 "扩展信息" 中, 点击后显示弹窗进行编辑, 通用的扩展信息为 "备注"
⚠不同类型的跨源资产在特定场景下会额外新增扩展信息字段, 相关内容将在对应资产类型的文档中进行说明
扩展信息弹窗预览
🔵 枚举值逻辑
使用分析模型搭建报表看板, 对资产进行筛选操作时, 系统会展示当前资产枚举值的下拉列表
属性枚举值下拉预览
配置跨源资产时可通过枚举值逻辑, 设置对应跨源资产的枚举值, 以便于业务成员的筛选操作
编辑时, 可先下载CSV参考模板, 并在修改后直接上传
⚠ 若使用其他工具导出CSV文件, 则需注意将其 设置为UTF-8编码格式
⚠ 仅 文本、数值、列表类型支持设置枚举值, 其中列表的枚举值针对列表内的元素
枚举值逻辑预览
🔵 状态
当前跨源资产的校验状态, 默认状态下为 "未校验", 校验后则展示结果
可能导致的异常为: 数据源中的列不存在、取值方式或输出类型异常 等
⚠ 取值方式及输出类型的异常需结合实际数据以及SQL语句进行调整, 建议填写前先预览数据源, 并复制SQL语句在<SQL查询>功能中进行验证
🔵 操作
每条资产配置右侧提供 复制 与 删除 两个操作
-
复制
- 复制当前的资产配置, 并在新增的资产配置名称中添加 "_copy" 后缀
-
删除
-
删除当前的资产配置, 页面悬浮反馈结果, 并提供撤销按钮
删除提示预览
-
3.3 跨源配置基本信息
跨源配置流程3
每个跨源配置均需要设置的识别类信息
基本信息字段图示
-
跨源配置名称
- 当前 "跨源资产配置" 的名称
- 需小写字母开头，内容仅支持 小写字母，数字，下划线，长度需小于80
-
跨源配置显示名
- 当前 "跨源资产配置" 的显示名
- 长度需小于80
-
跨源配置备注
- 当前 "跨源资产配置" 的备注信息
- 长度需小于200
4. 数据类型说明
- 在事件/属性页面中的数值、文本、布尔等名称为"select_type", 用于成员在业务场景的选择以及分析模型的使用
- 数仓底表中出现的 bigint、double 等名称为 "raw_type", 为底层表数据类型
- 参考对应关系如下:
| 界面类型（select_type） | 底层类型（raw_type） |
|---|---|
| 数值 | tinyint,smallint,int,bigint,double,decimal |
| 文本 | varchar |
| 布尔 | boolean |
| 时间 | datetime |
| 列表 | array(varchar/timestamp/boolean/bigint/double... ) |
| 对象 | row( col_str varchar, col_num double, col_array array<varchar> ) |
| 对象组 | array( row( col_str varchar, col_num double, col_array array<varchar>) ) |
列表内部的数据类型支持数值、文本、布尔、时间；对象、对象组内部的数据类型支持数值、文本、布尔、时间、列表（内部仅支持文本）。
5. 参数限制
-
单个 项目 内最多可创建 200,000个 跨源资产(不区分资产类型)
Q: 如何查看当前有哪些跨源资产?
A: 可进入<资产使用治理>功能页面，筛选 "跨源资产" 以查看明细列表
6. 常见问题
如何确定跨源资产的状态?
- 完成资产创建后在列表中点击"校验"，系统将会读取配置信息并确认可用性，最后返回校验的结果
完成跨源资产创建后为什么无法使用?
- 对于 "未校验"，"校验异常" 的资产，可以用于创建报表和看板，但计算时无法获取有效的计算结果
- 发起校验并根据提示修改配置内容，并最终 "校验通过" 后，相关的资产才能计算并返回有效结果
校验不通过，并提示 "xxxx" ，是什么原因? 如何解决?
-
字段型校验
- 根据配置字段进行精细化的校验，可以返回较为清晰的内容
- 如:
数据源不存在或无权限，事件名称列 event_name 不存在等 - 此时按照提示进行修改即可
-
SQL型校验
- 对于涉及SQL执行的 "取值方式" 需要结合 SQL语法/数据类型/计算逻辑 等因素校验，返回的结果较为复杂
- 如:
Cannot apply operator: varchar(4) + integer等 - 此时需要核查资产内使用了 SQL语句的资产配置，结合 异常提示/资产类型/SQL函数 等信息进行排查