跳到主要内容

配置 SelectDB 数据源

最近更新 2026/10/03

SelectDB Cloud 是基于 Apache Doris 打造的新一代多云原生实时数据仓库。

支持的版本​

SelectDB 4.0+

使用限制​

目前仅支持以下配置方式：


  • 支持 AE 预置仓空间表 向 SelectDB 写入（离线写入）

注：

  • 暂不支持读取 SelectDB 数据源（离线读取 ）

支持的字段类型​

SelectDB 会由其引擎判断来源字段是否能正确写入去向字段，若不成功则为 Null 。

AE 数据开发平台集成方案不会强制转换数据类型，交由引擎处理。

SelectDB 类型离线写（Writer）备注
数值类型
TINYINT支持1 字节有符号整数，范围 [-128, 127]
SMALLINT支持2 字节有符号整数，范围 [-32768, 32767]
INT支持4 字节有符号整数，范围 [-2147483648, 2147483647]
BIGINT支持8 字节有符号整数，范围 [-9223372036854775808, 9223372036854775807]

DECIMAL

支持

DECIMAL(P [, S])
高精度定点数，P 代表一共有多少个有效数字 (precision)，S 代表小数点后最多有多少数字 (scale)。
1.19.0 及以后版本对 decimal 类型的（P，S）有默认值设置，默认是 decimal（10，0）
DOUBLE支持8 字节浮点数
BOOLEAN支持BOOL, BOOLEAN
与 TINYINT 一样，0 代表 false，1 代表 true
LARGEINT支持16 字节有符号整数，范围 [-2^127 + 1 ~ 2^127 - 1]
FLOAT支持4 字节浮点数。
字符串类型
CHAR支持CHAR(M)
定长字符串，M 代表的是定长字符串的长度。M 的范围是 1~255。

VARCHAR

支持VARCHAR(M)
变长字符串。M 代表变长字符串长度，单位：字节，默认取值为 1。
STRING支持字符串，最大长度 65533 字节
时间类型
DATE支持日期类型，目前的取值范围是 ['0000-01-01', '9999-12-31']。
默认的打印形式是 'YYYY-MM-DD'。
DATETIME支持日期时间类型，取值范围是 ['0000-01-01 00:00:00', '9999-12-31 23:59:59']。
打印的形式是'YYYY-MM-DD HH:MM:SS'
半结构化类型
JSON支持
ARRAY支持
MAP支持
STRUCT支持
VARIANT支持VARIANT 类型特别适用于处理复杂的嵌套结构，而这些结构可能随时会发生变化。在写入过程中，该类型可以自动根据列的结构、类型推断列信息，动态合并写入的 schema，并通过将 JSON 键及其对应的值存储为列和动态子列。
聚合类型
HLL不支持
BITMAP不支持
QUANTILE_STATE不支持
AGG_STATE不支持

表类型说明​

表类型Aggregate（聚合表）Unique（唯一键表）Duplicate（明细表）
数据模型预聚合模型主键唯一模型明细数据模型
存储特点相同维度自动聚合（SUM/MAX/MIN等）相同主键覆盖（新版本覆盖旧版本）原始数据全量存储（无聚合无覆盖）
核心特征
  • 指标列必须定义聚合函数（SUM/MAX/MIN/REPLACE）
  • 查询时自动按维度列聚合，无需写 GROUP BY
  • 相同 UNIQUE KEY 覆盖写入
  • 支持实时更新
  • 存储原始明细数据（允许重复）
  • 无聚合能力，查询需显式 GROUP BY
SQL举例
CREATE TABLE agg_sales (
dt DATE,                -- 维度列（自动分组）
product_id INT,         -- 维度列
total_sales BIGINT SUM, -- 指标列（聚合函数）
max_price INT MAX       -- 指标列
) ENGINE=OLAP
AGGREGATE KEY(dt, product_id) -- 指定聚合键
DISTRIBUTED BY HASH(product_id);
CREATE TABLE user_profile (
user_id BIGINT,         -- 主键列
name VARCHAR REPLACE,   -- 可更新列
age INT REPLACE,
last_login DATETIME REPLACE
) ENGINE=OLAP
UNIQUE KEY(user_id)         -- 指定唯一键
DISTRIBUTED BY HASH(user_id);
CREATE TABLE click_logs (
log_time DATETIME,      -- 无主键
user_id BIGINT,
url VARCHAR,
ip VARCHAR
) ENGINE=OLAP
DUPLICATE KEY(log_time, user_id) -- 仅排序，不唯一
DISTRIBUTED BY HASH(user_id);

聚合类型说明​

聚合类型作用适用列类型典型应用场景
SUM对相同维度列的值求和数值类型（INT/BIGINT/DECIMAL）销售额、访问量等累计指标
MIN取相同维度列的最小值数值类型/日期类型最低值、最早登录时间
MAX取相同维度列的最大值数值类型/日期类型最高值、最近登录时间
REPLACE后写入数据完全覆盖前值（无论是否NULL）任意类型用户最新地址、订单最终状态

REPLACE_IF_NOT_NULL

仅非NULL值覆盖前值（NULL值保留旧值）

要求字段默认值为 NULL（若默认值为空字符串 ''，会被视为有效值覆盖）。

任意类型渐进更新用户信息（保留已有字段）

创建 SelectDB 数据源​

在 数据开发平台 - 集成 模块，您可以选择 新增 SelectDB 数据源

数据源配置参数信息

在同一页中填写基本信息和数据源配置，并完成连通性测试后，即可成功创建 SelectDB 数据源。

字段名称说明
基本信息
*数据源名称数开平台空间内唯一，必须以字母、数字、下划线组合，且不能以数字和下划线开头
备注选填
数据源配置
不区分环境 / 独立环境配置二选一：「不区分环境」表示 生产环境 与 开发环境 共用一套配置，「独立环境配置」表示双环境独立配置
*服务地址/IPSelectDB 数据库所在的服务地址，多个地址请用逗号分隔
*端口用于访问 SelectDB 的端口
*数据库已在 SelectDB 中创建的数据库名称
*用户名有权限访问数据库的用户名
*密码用户名对应的密码信息
高级配置连接数据库所需的其他高级参数，可自定义填写
注：默认集群部署模式

其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

创建离线同步任务​

根据上述步骤成功 创建 SelectDB 数据源 并测试连通性成功后，您可根据实际场景，配置 SelectDB 离线写入 的任务。

SelectDB 作为数据去向​

数据去向选择 SelectDB，并完成以下相关参数配置：

字段名称说明
*数据源（类型）数据去向目标类型选择 SelectDB。该下拉只列出当前空间已有数据源的类型，还没有建立 SelectDB 数据源时找不到 SelectDB，需要先通过下拉底部的「+ 数据源」或「数据源管理」创建数据源
*数据源（数据源）已在数据源管理界面注册的 SelectDB 数据源，下拉可选。
若还未建立相应数据源，可单击 数据源管理 按钮，前往创建 SelectDB 数据源。
*全限定名（catalog）internal，暂不支持 external
*全限定名（数据库）写入的数据库名称
*写入表写入的数据表，下拉可选。下拉旁有「快速建表」入口
*分区字段取值

您可以通过 输入方式 来定义分区字段值，假设分区字段 = days

  • “常量”为自定义值：days = 2025-01-01
  • “参数”为空间参数：days =${bd}，则执行时会取基准日期的值
  • “字段”为来源表字段：days = 「dt1」
*写入模式
  • 插入/更新插入新数据： Insert Into
  • 覆盖写入：Insert Overwrite

字段映射说明​

完成数据来源和目标端配置后，需建立字段映射关系，系统将按照映射关系将源端字段中的数据自动同步至目标字段中。字段映射关系有三种配置方式：

  • 方式一：自定义选择，选中源表字段，并选择目标表中目标字段
  • 方式二：同名映射，系统会自动为源表和目标表中的同名字段建立映射关系
  • 方式三：同行映射，系统会自动为同行字段建立映射关系

需要注意一个目标字段只能对应一个来源字段

分区表/非分区表 写入表现​

目标表分区情况insertInsert Overwrite
非分区表—直接写入覆盖写入
非自动分区表（Partition）分区存在直接写入覆盖写入
非自动分区表（Partition）分区不存在写入失败（Unknown partition）写入失败（Unknown partition）
自动分区表（Auto Partition，默认 enable_auto_create_when_overwrite = true）分区存在直接写入覆盖写入
自动分区表（Auto Partition）分区不存在创建分区并写入创建分区并写入
查看原图

基本信息设置​

最后，您需要设置集成方案的基本信息，包括方案的名称、负责人、集成的同步速率以及备注等。

完成配置后，可以点击 「保存」 按钮完成集成方案的创建。

注：方案名称保存后不允许修改

详情页展示：

离线同步方案挂流​

挂载任务流​

1.进入挂载流程

  • 在集成方案详情页，点击右上角「挂载到任务流」按钮

2.选择任务流

  • 从下拉菜单中选择目标任务流

  • 若需新建任务流：

    • 点击下拉菜单下方的「新建任务流」快捷按钮
    • 或前往「开发」模块创建

  • 提示：如未显示目标任务流，可点击右侧↻刷新按钮

3.创建同步节点

  • 在任务流中新建「离线同步方案」类型节点
  • 该节点将关联当前集成方案，节点执行时即触发对应集成方案的运行

4.完成挂载

  • 点击「创建节点并挂载」完成配置
  • 挂载成功后，可点击「前往任务流」立即查看挂载结果
提示

注：挂载任务流所创建的任务节点处于 尚未发布状态，建议您前往查看任务流，并将该节点发布上线。

解除任务流挂载​

如果您希望解除离线同步方案的任务流挂载，

  • 若该任务流还未发布上线，您可前往该方案挂载的任务流，在 开发模式 删除该「离线同步方案」任务节点即可。
  • 若该任务流已经发布上线，在 开发模式 删除该「离线同步方案」任务节点后，您需要重新发布该任务流，即同步解除了该节点在 生产环境 上的挂载。
这篇文档对你有帮助吗？
本页内容