跳到主要内容

配置 MySQL 数据源

最近更新 2026/11/03

MySQL 是一种开源的关系型数据库管理系统,能高效地存储、管理和查询大量数据,支持多种操作系统,被广泛应用于各种类型的软件和网站开发中。

AE 数据开发平台 离线同步方案 支持 MySQL 数据源的 读取(Reader)和 写入(Writer)。本文将为您介绍 MySQL 数据同步能力的支持情况。

支持的版本​

mysql 5.5+

使用限制​

目前仅支持以下配置方式:


  • 支持读取 MySQL 数据源(离线读取)并向 AE 预置仓空间表写入
  • 支持 AE 预置仓空间表 向 MySQL 写入(离线写入)

注:暂不支持 MySQL 数据库向非 AE 预置仓的其他数据库直接写入。

支持的字段类型​

下表分别说明 MySQL 作为数据来源和数据去向时支持的字段类型。字段类型以当前解析结果为准,带长度、精度或无符号属性的字段还需核对完整定义。

MySQL 字段类型离线读取离线写入
BOOLEAN支持支持
TINYINT、SMALLINT、INT、INTEGER、MEDIUMINT、BIGINT支持支持
FLOAT、DOUBLE、DECIMAL支持支持
CHAR、VARCHAR、TINYTEXT、TEXT、MEDIUMTEXT、LONGTEXT支持支持
JSON、ENUM、SET支持支持
DATE、DATETIME、TIMESTAMP、YEAR支持支持
BIT受限,需核对当前字段是否可用受限,需核对字段位宽及实际写入结果
TIME不支持不支持
BINARY、VARBINARY、LONGVARBINARY、TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB不支持不支持
GEOMETRY、MULTIPOLYGON、LINESTRING、POLYGON、MULTIPOINT、MULTILINESTRING、GEOMETRYCOLLECTION 等空间类型不支持不支持
其他未识别的类型不支持不支持

DECIMAL(p,s)、CHAR(n)、VARCHAR(n) 需符合实际字段的精度、小数位数和长度要求;UNSIGNED 字段需核对实际取值范围。BIT 不视为任意位宽均受支持,不能仅凭已有方案中的字段记录判断新方案是否可用。

数据库中的类型别名可能以其他名称返回。若字段解析结果为 REAL 等未列出的名称,请以实际解析结果和字段可用状态为准,不将数据库支持的全部类型或别名视为本方案均支持。

创建 MySQL 数据源​

在 数据开发平台 - 集成 模块,您可以选择 新增 MySQL 数据源

数据源配置参数信息​

填写数据源所需的配置信息并完成连通性测试后,即可成功创建 MySQL 数据源。

其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

字段名称说明
基本信息
*数据源名称数开平台空间内唯一,必须以字母、数字、下划线组合,且不能以数字和下划线开头
备注选填
数据源配置
不区分环境 / 独立环境配置二选一:「不区分环境」表示 生产环境 与 开发环境 共用一套配置,「独立环境配置」表示双环境独立配置
*连接字符串

连接字符串(Connection String)是用于建立与 MySQL 数据库连接的字符串组合

注:暂不支持字符串中的参数解析

*数据库名连接的 MySQL 数据库名称
*用户名有权限访问数据库的用户名
*密码用户名对应的密码信息
高级配置连接数据库所需的其他高级参数,可自定义填写

高级参数黑名单​

为保障集成安全,我们在「高级配置」中不支持以下参数的配置。

参数名称用途安全陷阱
allowLoadLocalInfile用途: 控制是否允许通过 LOAD DATA LOCAL INFILE SQL 语句从客户端机器(即运行你的Java应用程序的服务器)加载文件到MySQL数据库中。安全陷阱: 这是风险极高的参数。如果开启,恶意MySQL服务器(或一个被攻击的合法服务器)可以在客户端连接时,反向请求客户端上的任意文件。攻击者可以伪造一个MySQL服务器,当你的应用尝试连接时,它会发送一个LOAD DATA LOCAL的请求,JDBC驱动会无条件地将客户端机器上的敏感文件(如/etc/passwd, ~/.ssh/id_rsa, 应用配置文件、数据库连接配置等)发送给攻击者服务器。这通常被称为“MySQL客户端文件读取漏洞”的利用。
allowUrlInLocalInfile用途: 控制 LOAD DATA LOCAL INFILE 语句是否允许指定一个URL(如 http://, ftp://)作为文件源。

安全陷阱: 此参数放大了 allowLoadLocalInfile 的风险。它不仅允许读取本地文件,还允许从远程网络位置加载数据。这可能导致:

  1. SSRF (Server-Side Request Forgery): 攻击者可以利用你的数据库连接作为跳板,去访问内部网络中的HTTP/FTP服务,探测内网结构。
  2. 数据注入: 如果攻击者控制了一个远程URL,他可以返回任何他想要注入到数据库中的数据。
allowLoadLocalInfileInPath用途: 这是 allowLoadLocalInfile 的一个安全增强的替代方案(需要较新版本的驱动)。它不允许读取任意文件,而是将文件读取限制到指定的目录及其子目录下。安全陷阱:如果配置的路径范围过大(如 /tmp),或者攻击者通过其他应用漏洞能够将文件写入到该允许的路径下,他们仍然可以读取这些文件。错误配置(如配置成 /)会使其等同于 allowLoadLocalInfile=true。
initCommand用途: 允许你指定一个SQL语句,在每次创建新连接后立即执行。常用于设置会话变量,如 SET NAMES 'utf8mb4' 或 SET time_zone = '+8:00'安全陷阱: 风险来自于用户输入的控制。如果这个参数的值是由用户外部输入拼接而成(而不是在代码中写死的安全字符串),就可能造成SQL注入。一旦攻击者能够控制连接串中的 initCommand,他就可以执行任何有权限的SQL操作,例如删除表、修改数据、添加用户等。
clientFlags用途: 这是一个底层参数,用于设置客户端与MySQL服务器握手时使用的功能标志位。它是一个位掩码(bitmask),通过数字值来启用或禁用客户端的某些特定功能。

安全陷阱: 风险在于它可能包含一些危险的标志位。特别是:

  • CLIENT_LOCAL_FILES (128): 这个标志位显式地启用了对 LOAD DATA LOCAL 的支持。即使在连接串中没有设置 allowLoadLocalInfile=true,只要在 clientFlags 中加上了这个标志位,效果是一样的,会重新引入文件读取风险。
  • CLIENT_SSL (2048): 反之,如果禁用了这个标志(即从默认值中移除),则会强制使用未加密的连接,导致通信可能被窃听和篡改。

上述限制是基于“最小权限原则”和“纵深防御”的安全最佳实践,旨在保护您的应用和底层基础设施免受恶意攻击。

如有任何业务需求必须使用相关功能,请联系 ThinkingAI 运维团队进行单独评估。

创建离线同步任务​

根据上述步骤成功 创建 MySQL 数据源 并测试连通性成功后,您可根据实际场景,配置 MySQL 离线读、MySQL 离线写 等离线同步任务。

MySQL 作为数据来源​

数据来源选择 MySQL,并完成以下相关参数配置:

字段名称说明
*源类型数据来源目标类型选择 MySQL
*数据源名称已在数据源管理界面注册的 MySQL 数据源,下拉可选。
若还未建立相应数据源,可单击 数据源管理 按钮,前往创建 MySQL 数据源。
*取数方式
  • 整表:选取需要读取的库表信息
  • 自定义查询:可使用 SQL 语法直接查询数据源
*数据库名读取的数据库名称
*数据表名读取的数据表信息
分片键若您选择源表信息带有分片字段,您可以选择分片键
数据过滤开启数据过滤开关可以使用 SQL 语法填写 WHERE 过滤语句
高级配置支持批量处理条数等参数控制

其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

MySQL 作为数据去向​

数据去向选择 MySQL,并完成以下相关参数配置:

字段名称说明
*源类型数据去向目标类型选择 MySQL
*数据源名称已在数据源管理界面注册的 MySQL 数据源,下拉可选。
若还未建立相应数据源,可单击 数据源管理 按钮,前往创建 MySQL 数据源。
*数据库名读取的数据库名称
*数据表名读取的数据表信息
*写入模式
  • 覆盖写入(默认):Insert Overwrite
  • 插入新数据: Insert Into
  • 更新插入: Upsert
高级配置支持批量处理条数等参数控制

其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

字段映射说明​

完成数据来源和目标端配置后,需建立字段映射关系,系统将按照映射关系将源端字段中的数据自动同步至目标字段中。字段映射关系有三种配置方式:

  • 方式一:自定义选择,选中源表字段,并选择目标表中目标字段
  • 方式二:同名映射,系统会自动为源表和目标表中的同名字段建立映射关系
  • 方式三:同行映射,系统会自动为同行字段建立映射关系

需要注意一个目标字段只能对应一个来源字段

来源表或目标表结构发生变化后,请重新解析字段,核对字段对应关系和字段是否可用。支持范围参见 支持的字段类型。

基本信息设置​

最后,您需要设置集成方案的基本信息,包括方案的名称、负责人、集成的同步速率以及备注等。

完成配置后,可以点击 「保存」 按钮完成集成方案的创建。

注:方案名称保存后不允许修改

详情页展示:

离线同步方案挂流​

挂载任务流​

1.进入挂载流程

  • 在集成方案详情页,点击右上角「挂载到任务流」按钮

2.选择任务流

  • 从下拉菜单中选择目标任务流

  • 若需新建任务流:

    • 点击下拉菜单下方的「新建任务流」快捷按钮
    • 或前往「开发」模块创建
  • 提示:如未显示目标任务流,可点击右侧↻刷新按钮

3.创建同步节点

  • 在任务流中新建「离线同步方案」类型节点
  • 该节点将关联当前集成方案,节点执行时即触发对应集成方案的运行

4.完成挂载

  • 点击「创建节点并挂载」完成配置
  • 挂载成功后,可点击「前往任务流」立即查看挂载结果
提示

注:挂载任务流所创建的任务节点处于 尚未发布状态,建议您前往查看任务流,并将该节点发布上线。

解除任务流挂载​

如果您希望解除离线同步方案的任务流挂载,

  • 若该任务流还未发布上线,您可前往该方案挂载的任务流,在 开发模式 删除该「离线同步方案」任务节点即可。
  • 若该任务流已经发布上线,在 开发模式 删除该「离线同步方案」任务节点后,您需要重新发布该任务流,即同步解除了该节点在 生产环境 上的挂载。
这篇文档对你有帮助吗?