库表
库表模块 提供了一站式管理空间内的所有库表资产的能力,以及集中查看和整理空间资源的能力。
- 资产:归数开空间所有,全权管理。可授权给其他主体(如:空间,项目)作为数据资源使用。
- 资源:数开空间可使用,所属权归其他主体。
功能区概览
| 功能区域 | 子功能 | 说明 |
|---|---|---|
1-功能切换区 | 库表管理 | 库表模块的核心功能,可查看/管理空间下的
|
直连管理 | 可在该功能区下
| |
回收站 | 回收 库表管理 内的被软删的空间表
| |
未注册表 | 在库表管理中,针对空间 开发/生产 双库下的表,有“注册状态”的概念:
可能触发表“未注册”的场景
| |
| 2-字典区 | 按仓查看 |
|
| 3-页签区 | 页签展示 |
|
| 4-页面内容区 | 库表管理页 | 常驻页签,提供快速检索/查看库表信息的能力 |
| 表详情页 | 展示库表的详情信息,如元数据、字段、DDL、数据预览等等 | |
| 表创建/表编辑页 | 您可在创建页内,选择 管理模式 和 表类型 后创建相应的空间表 | |
| 5-抽屉区 | 快速查看 | 在管理页中快速呼出,提供表的关键信息 |
创建表和视图
您可以在库表管理页右上角点击 +表 进入新建表页面。
您可以选择创建空间 表 或者 视图,创建空间表的详情介绍请查看:空间表 章节
库表管理
字典区
库表管理的字典区按照仓下 Catalog - db - table 的结构展示所有空间内可用的资产和资源。
字典区按照结构统计并展示 database 中对应的表/视图数量。当您在字典区选中 database 名称时,列表展示区会展示该 database 下对应的库表。
Tips:AE 预置仓下可使用的
字典区结构说明如下:
| 图例 | 仓 repo | 目录 catalog | 管理模式 | 库 db | 说明 |
|---|---|---|---|---|---|
预置ETL仓 | hive | 系统表 | ta | AE 系统库,包含:用户镜像表,分群标签表等 | |
| ta_dim | AE 系统库,包含:项目维度表 | ||||
| ta_ext | AE 系统库,包含:项目数据表 | ||||
| temp | AE 系统库,包含:项目 SQL 查询临时表 | ||||
| 空间-任务表 | ws_space_${env} | 数据开发平台双环境库 | |||
| 空间-IDE表 | ws_space_ide | 数据开发平台 IDE 库 | |||
外部空间表 | ws_otherspace_product | 外部空间 授权给本空间的生产环境库 | |||
| ws_otherspace_ide | 外部空间 授权给本空间的 IDE 库 |
列表展示
您可以在库表列表展示区域查看:
- 库表的四要素 仓- Catalog - 库名 - 表名
- 库表管理模式
- 库表负责人
- 库表的注册状态
- 下钻查看库表详情
- 搜索🔍:支持表名 和 表 comment 搜索
筛选能力
支持在库表列表页内,对表的关键字段进行筛选:
- 筛选面板默认收起,可折叠展开
- 支持重置筛选项
| 筛选类型 | 筛选项 | 枚举项 | 说明 |
|---|---|---|---|
勾选类 | 有变更 | - | 只针对“空间-任务表”,开发环境和生产环境对比,发生了变更 |
| 我负责的 | - | 负责人 = 当前登录用户 | |
| 即将到期 | - | 生命周期即将到期的库表 | |
| 未发布 | - | 仅存在在开发环境,尚未发布到生产环境的库表 | |
多选类 | 管理模式 |
| 按照表在空间内的管理模式分类 |
表类型 |
| ||
所属主体 |
| 系统表 的主体属于项目 外部空间授权表 的主体属于其他 空间 | |
| 责任人 |
|
|
批量操作能力
库表列表页(包括下钻状态的列表页)支持批量操作。
可执行操作的对象范围如下:
| 批量操作能力 | 支持的管理模式 | 支持批量操作的范围 |
|---|---|---|
| 续期 | 空间-任务表 | 注册状态 = 已注册 AND 表类型 = 物理表 |
| 发布上线 | 空间-任务表 | 注册状态 = 已注册 AND (发布状态 = 未发布 OR 是否变更 = 有变更) |
| 回收 | 空间-任务表 | 注册状态 = 已注册 (未注册的表无法进入回收站)
|
抽屉区域
在管理页点击表卡片,可直接右侧呼出表详情抽屉
- 在当前页面下快速浏览表的 Meta 和字段信息,提升找表效率
- 无需打开新页签,即可呼起,减少页签数量
展示内容
| 区域 | 内容 | 可见的管理模式 | 说明 |
|---|---|---|---|
| A | 环境切换器 | 空间-任务表 | 支持在 开发环境/生产环境 表间切换 |
| B | 未注册提示 | 空间-任务表 空间-IDE表 | 点击编辑按钮,打开表编辑页,保存即完成注册 |
| C | 仓/目录/数据库信息 | 所有 | 可查看该空间表所属的 schema 要素 |
| D | 管理信息 | 所有 | 包括
|
| E | 存储方式 | 所有 |
|
| F | 负责人 | 所有 | 系统表默认为“系统” |
| 备注 | 所有 | 无则“-” | |
| 生命周期天数 | 空间-任务表 空间-IDE表 | 未注册表展示为“-” | |
| 生命周期状态 | 所有 | 系统表 / 外部空间表,默认为“正常”;未注册表展示为“-” | |
| G | 创建人 | 所有 | 系统表默认为“系统” |
| 创建时间 | 所有 | 空间表的创建时间 | |
| 最后发布人 | 空间-任务表 | 空间表的发布信息 | |
| 最后发布时间 | |||
| H | 字段信息 | 所有 | 表字段信息和字段数据类型 |
| I | DDL | 所有 | 建表语句(系统表不展示) |
直连管理
直连是 AE 数据开发平台的一个特色功能,可以快速将企业内部的数据体系迁移至 AE 系统。
直连能力主要使用了 Trino 的 Connector 能力,通过直连能力,您可以将挂载到 AE Trino 上的自定义 Catalog 里的表作为底表,创建可以在工作空间中使用的 视图(View),这些视图在开发平台中被称为 直连视图。
直连视图可以在数据开发平台的空间中使用,也可以通过 应用-数据授权 能力授权给 AE 系统的其他主体使用,比如分析运营平台中的项目 或 其他数开空间。
为了使用直连能力,您需要先联系 AE 工作人员配置 Catalog。
批量创建直连视图
当您希望为整库的数据都创建直连视图,从而快速引入已有的数据体系时,您可以在直连管理页面点击右上角的+直连视图 ,批量创建。创建步骤请查看:批量创建直连视图 章节。
另,“直连视图” 为数据开发平台内 视图(view) 的一种特殊类型,即:来源基表为通过 trino connector 外挂至AE 预置仓的 Catalog 中的库表。
因此,若想创建单张的 “直连视图”,步骤与创建普通视图一致,具体步骤查看章节:空间表。
回收站
点击 库表 模块左侧工具栏的第三个图标,即可进入空间表的回收站列表。
回收站说明:
-
存放被回收的生产/开发环境空间表,数据保留但不可读写
-
支持操作:
- 恢复:重新启用该表
- 永久删除:彻底清除数据
-
系统会自动清理超期未处理的表(存放超过7天)
-
支持批量恢复/删除,提升操作效率
| 列名 | 描述 |
|---|---|
| 表名 | 空间表的表名,点击可进入回收站中空间表的详情页 |
| 表说明 | 用户自定义的表的说明 |
| 类型 | 空间表的类型,分为表和视图两类,可筛选 |
| 引擎配置 | 可以查询该空间表的查询引擎,可能有多个引擎,可筛选 |
| 回收原因 | 空间表因何种原因被回收,有到期回收和手动回收两种原因,可筛选 |
| 回收时间 | 空间表的被回收的时间 |
| 备注 | 用户自定义的备注 |
| 操作-恢复 | 点击可以将该空间表恢复,您可以继续正常访问或写入该表 |
| 操作-永久删除 | 点击将永久删除该空间表,请注意,永久删除无法撤销,请谨慎操作 |
未注册表
“未注册表”定义
在库表管理中,针对空间 开发/生产 双库下的表,有“注册状态”的概念:
- 已注册:通过空间库表功能界面创建的任务表
- 未注册:引擎侧存在(如:通过 IDE 模块 create table),但未通过库表管理模式创建。需要补充缺失信息完成注册,确保正常使用。
“未注册表”管理
若空间内存在 未注册表,库表 左侧工具栏的第四个 Tab 按钮会有高亮提示,展示未注册表的计数
- 若为0,不展示
- 超过9,展示9+
| 列名 | 描述 |
|---|---|
| 表名 | 未注册表的表名 |
| 所属仓 | 预置仓 |
| 数据目录 | 未注册表所属的数据目录 |
| 库 | ws_default_${env} 为 数据开发平台 双环境任务库 |
| 双环境 | 未注册表 可能仅存在于生产环境 或 开发环境,也存在两个环境都有但不一致的情况 因此
|
| 关联任务 | 任务流中,将当前未注册表作为“目标表”的任务 |
| 创建时间 | 未注册表被创建的时间 |
| 操作 |
|
产生“未注册表”场景
以下场景为在数据开发平台空间内,可能会产生未注册表的行为
| 模块 | 功能区 | 库 | 表/view | 处理 |
|---|---|---|---|---|
| IDE | 脚本 | Hive.本空间dev库 |
| 进入“未注册表” |
| Hive.本空间pro库 |
| 进入“未注册表” | ||
| Hive.本空间ide库 |
| 不注册、不扫描识别 | ||
| 开发 | SQL 节点 | Hive.本空间dev库 |
| 进入“未注册表” |
注册流程
情况1: 表仅存在于开发环境
需「按开发环境注册」
- 注册完成后,保留已有表(开发环境)和数据
- 注册完成后,表处于“未发布”状态
情况2: 表仅存在于生产环境
- 注册完成后,保留已有表(生产环境)和数据,并同构创建一张表(开发环境)
- 注册完成后,表处于“已上线”状态
情况3: 表存在于开发&生产环境
-
您需要选择保留的表
-
选择1:保留开发环境
- 保留开发环境的表和数据,删除生产环境的表和数据
- 同构创建一张生产环境表
-
选择2:保留生产环境
- 保留生产环境的表和数据,删除开发环境的表和数据
- 同构创建一张开发环境表
-
注册完成后,表处于“已上线”状态

