配置 Redis 数据源
Redis 是一个开源的内存数据结构存储系统,被广泛用作数据库、缓存和消息中间件。
本文将为您介绍 Redis 数据同步能力的支持情况。
支持的版本
redis 3.0+
使用限制
目前仅支持以下配置方式:
- 支持 AE 预置仓空间表 向 Redis 写入(离线写入)
注:
- 暂不支持读取 Redis 数据源(离线读取)
支持的字段类型
| 字段类型 | 离线写(Writer) |
|---|---|
| tinyint | 支持 |
| smallint | 支持 |
| integer | 支持 |
| bigint | 支持 |
| varchar | 支持 |
| boolean | 支持 |
| double | 支持 |
| date | 支持 |
| timestamp | 支持 |
array(tinyint) array(smallint) array(integer) array(bigint) array(varchar) array(boolean) array(double) | 支持 |
| array(其他) | 不支持 |
| row | 支持 |
| map | 支持 |
| varchar | 支持 |
创建 Redis 数据源
在 数据开发平台 - 集成 模块,您可以选择 新增 Redis 数据源
数据源配置参数信息
填写数据源所需的配置信息并完成连通性测试后,即可成功创建 Redis 数据源。
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。
| 字段名称 | 说明 |
|---|---|
| 基本信息 | |
| *数据源名称 | 数开平台空间内唯一,必须以字母、数字、下划线组合,且不能以数字和下划线开头 |
| 备注 | 选填 |
| 数据源配置 | |
| 不区分环境 / 独立环境配置 | 二选一:「不区分环境」表示 生产环境 与 开发环境 共用一套配置,「独立环境配置」表示双环境独立配置 |
| *部署模式 |
|
| *服务地址/IP | Redis 数据库所在的服务地址 集群部署时,多个节点信息输入请点击「增加」 |
| *端口 | 用于访问 Redis 的端口 |
| 用户名 | 有权限访问数据库的用户名 |
| *密码 | 用户名对应的密码信息 |
| 高级配置 | 连接数据库所需的其他高级参数,可自定义填写 |
创建离线同步任务
根据上述步骤成功 创建 Redis 数据源 并测试连通性成功后,您可根据实际场景,配置 Redis 离线写入 的任务。
Redis 作为数据去向
数据去向选择 Redis ,并完成以下相关参数配置:
| 字段名称 | 说明 |
|---|---|
| *源类型 | 数据去向目标类型选择 Redis |
| *数据源名称 | 已在数据源管理界面注册的 Redis 数据源,下拉可选。 若还未建立相应数据源,可单击 数据源管理 按钮,前往创建 Redis 数据源。 |
| *数据库选择 | Redis db slot 下标,标识数据库 *仅 非集群模式 的源下有此参数 |
*写入数据类型 | Redis Value 的数据类型 支持选择 string、set、hash、list 四种类型。 |
| *写入模式 |
|
| 批量条数 | 批量条数:每批提交数据量,默认 1000 条 |
| 过期时间 | 写入 Redis 数据时,可以为 key 设置过期时间,单位可以选择天/小时/分钟/秒,默认开关关闭 |
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。
字段映射
完成数据来源和目标端配置后,解析字段并配置 Redis Key 的存储方式。
索引键(Key)的拼接策略
Redis 是键值存储,键(Key)的设计直接影响查询效率和可维护性。
为了方便用户使用,在键的拼接和存储能力上
- 支持 指定字段 写入(i.e 非整表写入)
- 支持键 前缀配置 & 后缀配置
- 支持 插入参数(空间参数)
- 支持插入特殊字符
- 键整体需要通过规则校验
索引键(Key)配置说明
| 键相关配置 | ||
|---|---|---|
| 字段名称 | 说明 | 是否必填 |
| 键前缀/后缀 | 支持用户自定义前后缀 内容只支持[0-9A-Za-z-_],防止 redis 的 key 出现污染。 填写样例:student:tuition:${bd} | 否 |
| 插入字段值 | 只能选中左侧源表中已经勾选的字段 | 否 |
| 插入参数 | 支持预置空间参数和自定义空间参数 | 否 |
| 插入特殊字符 | 例如:\u0001 | 否 |
| 数据预览 | 默认展示 3 条 | |
基本信息设置
最后,您需要设置集成方案的基本信息,包括方案的名称、负责人、集成的同步速率以及备注等。
完成配置后,可以点击 「保存」 按钮完成集成方案的创建。
注:方案名称保存后不允许修改
详情页展示:
离线同步方案挂流
挂载任务流
1.进入挂载流程
- 在集成方案详情页,点击右上角「挂载到任务流」按钮
2.选择任务流
-
从下拉菜单中选择目标任务流
-
若需新建任务流:
- 点击下拉菜单下方的「新建任务流」快捷按钮
- 或前往「开发」模块创建
-
提示:如未显示目标任务流,可点击右侧↻刷新按钮
3.创建同步节点
- 在任务流中新建「离线同步方案」类型节点
- 该节点将关联当前集成方案,节点执行时即触发对应集成方案的运行
4.完成挂载
- 点击「创建节点并挂载」完成配置
- 挂载成功后,可点击「前往任务流」立即查看挂载结果
注:挂载任务流所创建的任务节点处于 尚未发布状态,建议您前往查看任务流,并将该节点发布上线。
解除任务流挂载
如果您希望解除离线同步方案的任务流挂载,
- 若该任务流还未发布上线,您可前往该方案挂载的任务流,在 开发模式 删除该「离线同步方案」任务节点即可。
- 若该任务流已经发布上线,在 开发模式 删除该「离线同步方案」任务节点后,您需要重新发布该任务流,即同步解除了该节点在 生产环境 上的挂载。

