空间表的创建与管理
概述
空间表 是数据开发平台的核心资产,是在当前工作空间的任务流中可以被直接使用的数据范围,即数据开发平台「开发」与「库表」中直接创建的 表(Table) 或 视图(View),存在于开发和生产环境。支持双环境发布,支持生命周期管理、冷热数据分离等功能,适合作为主数据存储。
在 5.1 版本中,原空间表、原系统表、直连视图已合并展示。
本章节将详细介绍空间表的增删改查能力,帮助您快速上手 空间表的创建 与 库表管理。
认识库表
在全新的库表页面中,有五大功能区:功能切换区、字典区、页签区、页面内容区与抽屉区。
各区的功能介绍请参考:库表
创建空间表
首先,您需要进入「库表」页面。在该页面中支持三种方式创建空间表:
- 从字典区顶部 + 按钮 创建
- 从页签区末尾 + 按钮 创建
- 从页面内容区右上角「+表」按钮创建
进入 新建空间表 页面
管理模式默认为 空间-任务表,您可以选择表类型:
- 表:支持定义物理表的表结构、存储格式和存储方式等。
- 视图:支持基于空间任务表,系统表,直连源等基表创建视图。
注:在空间库表页面内容区中,视图的图标有一个“👁️”,便于您快速区分。
库表中,创建时默认进入开发环境,发布上线后进入生产环境。表或视图发布上线后您可以通过点击「编辑」切换开发环境。
创建表(Table)
在新建空间表中表类型选择「表」,然后点击「下一步」,即可进入新建表页面(开发环境)
模式切换
表支持「向导式」和「DDL模式」两种创建方式,表 Schema 互通解析,即您可以在向导式模式下预览DDL,也可以在DDL模式中解析,回到向导式模式重新编辑。
- 向导式 和 DDL 式 是一种配置的两种视角,两种视角共享同一套配置
- 支持自定义创建 内表 /外表(注意: 表一旦创建,表类型定义无法变更)
- 外表路径一旦存储,无法变更
- 在 DDL 模式下,必须 解析 后,才能切换 向导式
表配置信息
| 表基础信息 | |
|---|---|
| 字段名 | 说明 |
| 备注 | 表的备注信息 |
| 生命周期 | 当前空间表的可管理生命周期 |
| 负责人 | 该空间表的负责人 |
| 基本信息 | |
| 字段名 | 说明 |
| 表名 | 空间内唯一,小写字母开头,可含小写字母、数字、下划线且长度不能超过80 |
| 类型 | 表,视图(视图暂不可选) |
| 表说明 | 表的显示名 comment |
| 表配置 | |
| 分区类型 |
|
| 存储类型 |
一旦发布上线后,不允许更改表类型 |
| 存储方式 |
|
| 存储格式 | 支持 orc, parquet, text, csv, json 等多种功能存储格式 |
| 存储路径 |
|
注意:表一旦保存,就确定了表存储类型,表存储路径等,无法变更。
自定义表属性
用户可自定义部分表属性,白名单如下:
"format"
"partitioned_by"
"external_location"
"location"
"bucket_count"
"bucketed_by"
"sorted_by"
"bucketing_version"
其中 format、partitioned_by、external_location、location 由系统解析。
保存方式
- 选择向导式:当您完成了向导式字段配置后,可以点击右上角的「预览DDL」按钮查看该表的建表语句,确认表结构。
- 选择DDL式:当您完成了建表语句,可以点击右上角的「解析」,在页面右下角 字段区 确认表结构。也可以回到向导式手动修改。
最后,当您完成了空间表的配置后,您可以点击页面右上角的「仅保存」或「发布上线」按钮创建空间表,两者的差异在:
- 仅保存,仅创建开发环境的空间表,后续配置确定后再进行生产环境的空间表发布
- 发布上线,同时创建开发环境与生产环境的空间表,相当于保存并发布,适合在完成所有设置后进行。
创建视图(View)
您可以将挂载到 AE Trino 上的自定义 Catalog 里的表作为底表,创建可以在工作空间中使用的视图。视图可以在开发平台的各个模块中使用,比如在任务流中查询或授权给 AE 分析模块。
视图支持 单个创建 和 批量创建 的方式。
单个创建
在新建空间表中表类型选择「视图」,然后点击「下一步」
您将会进入新建视图的页面(开发环境):
视图支持两种方式创建:
-
直接输入建表语句创建,然后点击「调试」
-
点击右上角「字典」按钮辅助完成语句创建
- 字典区选择数据目录、来源库、来源表(或输入 表全限定名 解析)
注:数据目录的下拉菜单展示了可用于直连的 Catalog 的显示名(该显示名可在配置时定义)、Catalog 的类型以及对应的 Logo。如果您希望进行直连的 Catalog 没有出现在下拉菜单中,请联系 AE 工作人员进行配置。
- 继续勾选需要的字段,点击「表字段」右上角「生成查询语句」,语句将自动复制到您的剪切板;或点击「生成建表语句」,复制到剪切板,然后粘贴到建表语句的IDE中进行调试
调试成功后,将出现字段预览、数据预览与来源基表,供您检查。
更复杂的视图结构可以通过编写SQL语句实现。
最后,您还需要为该视图重新命名,生成的语句中默认为 VIEW + 来源表名,请您按需在语句中修改
注意:新建视图也会作为该工作空间下的空间表,因此不能和现有的空间表重名。
完成以上所有操作后,您可以点击页面右上角的「仅保存」或「发布上线」按钮创建视图,两者的差异在:
- 仅保存,仅创建开发环境的空间表,后续配置确定后再进行生产环境的空间表发布
- 发布上线,同时创建开发环境与生产环境的空间表,相当于保存并发布,适合在完成所有设置后进行。
批量创建
目前支持进行视图批量发布、批量删除等操作。
该版本中,需要进入「直连管理」中进一步操作,见:批量创建直连视图
库表管理
页面内容区展示了当前工作空间下所有空间表(表与视图),同时提供丰富的操作能力帮助您快速找表、高效用表。
- 您可以在顶部点击「漏斗」按钮进行筛选,目前支持的筛选条件有:
- 有变更
- 我负责的
- 即将到期
- 未发布
- 管理模式:空间任务表、空间IDE表、系统表、外部空间授权表
- 表类型:物理表、视图
- 所属主体
- 负责人
- 您可以进行批量操作:
鼠标悬停至列表右上角的「批量操作」按钮,即可展开批量操作菜单。目前支持进行批量续期、批量发布上线以及批量回收操作。
选择其中一种批量操作后,列表将展示可以进行该操作的空间表。
注:视图无需续期
- 您也可以使用「搜索」功能搜索表名、表说明,找到对应空间表
空间表详情页
库表管理的页面内容区支持两种方式查看空间表的具体信息:
- 点击对应空间表的空白区,弹出抽屉区,您可以进行预览、续期、回收与一些基本信息的快速编辑(表说明、负责人、备注),点击「编辑」可进入详情页。
- 点击数据表名可进入详情页,不同表类型和状态会呈现不同页面。以标准空间表为例,详情页包含以下核心信息:
- 基础信息:表名、所属环境、仓、数据目录、数据库等
- 字段结构:列名、类型、注释
- DDL语句:建表语句
- 数据预览:前N行数据
- 分区详情(若为分区表):分区数据量及存储大小
其他表类型可能展示字段会有所差异。
对于 Hive 外部分区表,您还可以配置自动同步或手动同步分区。具体操作请参见 分区表同步。
- 以下列举的是表管理展示内容:
| 列名 | 描述 |
|---|---|
| 表名 | 空间表的表名,点击可进入空间表详情页 |
| 表说明 | 用户自定义的表的说明 |
| 仓名 | 空间表所属的仓的名称 |
| 数据目录名 | 空间表所属的数据目录的名称 |
| 数据库名 | 空间表所属的数据库的名称 |
| 上线状态 | 空间表的发布状态,有已上线和未上线两种状态 |
| 管理模式 | 默认为空间-任务表 |
| 关联任务名 | 空间表关联的任务 |
| 所属主体名 | 空间表所属的空间主体 |
| 存储类型 | 内表或外表 |
| 存储格式 | 空间表存储的格式,如ORC |
| 存储方式 | 空间表存储的方式,如HDFS |
| 存储路径 | 空间表存储的路径 |
| 生命周期状态 | 空间表的生命周期情况,有正常和即将到期两种状态,可筛选(剩余生命周期天数少于 7 天的表会进入即将到期状态,但如果该表的生命周期天数上限少于 7 天,则会一直处于即将到期状态) |
| 生命周期天数 | 可进行续期 |
| 负责人 | 空间表的负责人 |
| 备注 | 用户自定义的备注 |
| 创建人 | 空间表的创建人 |
| 创建时间 | 空间表的创建时间 |
| 最后发布人 | 空间表最后发布人 |
| 最后发布时间 | 空间表的最后一次发布时间 |
| 字段预览 | 空间表的字段列表 |
| DDL | 空间表对应的DDL语句 |
| 数据预览 | 展示空间表内的数据,支持刷新 |
| 使用场景(默认隐藏) | 该空间表可以在应用模块的哪些场景中被使用 |
| 创建时间(默认隐藏) | 空间表的创建时间 |
| 操作-编辑 | 点击进入到空间表编辑页 |
| 操作-续期 | 点击可手动为空间表进行续期,刷新其生命周期天数 |
| 操作-发布 | 点击可以发布存在变更或未发布的空间表 |
| 操作-回收 | 点击可以回收该空间表,被回收的空间表可以在空间表回收站中查看,可以在回收站进行恢复或永久删除操作 |
- 以下列举的是视图管理展示内容:
| 列名 | 描述 |
|---|---|
| 视图名 | 创建的视图的名称,可以点击跳转按钮进入视图详情页 |
| 表说明 | 用户自定义的视图的说明 |
| 仓名 | 空间表所属的仓的名称 |
| 数据目录名 | 空间表所属的数据目录的名称 |
| 数据库名 | 空间表所属的数据库的名称 |
| 上线状态 | 视图的发布状态,有已上线和未上线两种状态 |
| 管理模式 | 默认为空间-任务表 |
| 负责人 | 视图的负责人 |
| 备注 | 用户自定义的备注 |
| 生命周期状态 | 空间表的生命周期情况,视图默认为正常 |
| 创建人 | 空间表的创建人 |
| 创建时间 | 空间表的创建时间 |
| 最后修改人 | 空间表最后修改人 |
| 最后修改时间 | 空间表的最后一次修改时间 |
| 字段预览 | 空间表的字段列表 |
| DDL | 空间表对应的DDL语句 |
| 数据预览 | 展示空间表内的数据,支持刷新 |
| 来源基表 | 来源底表的完全限定名,支持点击进入表详情页 |
| 操作-编辑 | 点击进入到直连视图的编辑页 |
| 操作-发布 | 点击可以发布未发布的直连视图 |
| 操作-回收 | 点击可以回收该直连视图,被回收的视图可以在「开发」模块的空间表回收站中查看,可以恢复或永久删除 |

