离线同步

最近更新 2026/10/05

概述

在创建完数据源后，您就可以在离线同步模块中创建【离线同步方案】，从而将数据源中的数据引入到数据开发平台中。

您可通过以下方式同步数据：

1. 立即同步：在离线同步模块创建任务，将数据源数据导入平台
2. 定时同步：将任务挂载至任务流，配置调度策略实现自动同步

管理离线同步方案

离线同步列表页展示的是当前工作空间下的所有离线同步方案，同时也支持用户新增离线同步方案。

以下列举的是离线同步列表页的表格列：

列名	描述
集成方案名称	用户自定义的离线同步集成方案名称，可以点击名称进入到集成方案详情页，查看其具体配置
来源数据源	该集成方案的来源数据源，显示数据源类型 Logo 和名称，支持筛选；点击数据源名称可查看该数据源的详情信息
去向数据源	该集成方案的去向数据源，显示数据源类型 Logo 和名称，支持筛选；点击数据源名称可查看该数据源的详情信息
关联空间表	该集成方案读取或写入的空间表的表名，点击可以查看该表的详情
挂载任务流	该集成方案挂载的任务流的名称，点击可以查看该任务流的详细信息；如果没有挂载任务流，则此处展示“-”
最后调度时间	该方案在挂载任务流后，最后一次调度执行的时间；如果没有挂载任务流，则此处展示“-”
最后调度状态	该方案在挂载任务流后，最后一次调度执行的状态，支持筛选；如果没有挂载任务流，则展示“未执行”
手动执行时间	该方案在没有挂载任务流时，最后一次执行的时间
手动执行状态	该方案在没有挂载任务流时，最后一次执行的状态
创建时间（默认隐藏）	该方案的创建时间
负责人（默认隐藏）	该方案的负责人
最后修改时间（默认隐藏）	该方案最后一次修改的时间
最后修改人（默认隐藏）	该方案最后一次的修改人
备注	用户自定义的备注
操作-编辑	点击打开集成方案编辑页，可以对集成方案的配置进行修改
操作-删除	删除该集成方案，需注意，为了确保数据集成的安全稳定，如果集成方案已经挂载任务流，则无法删除，如需删除，请先解除挂载，详情可参考 解除挂载 一节。

新增集成方案

备注

各数据源配置方案中的 【创建离线同步任务】模块详细介绍了方案创建流程，本章节概述了通用流程。

点击列表页右上角的「+集成方案」按钮即可进入到新增集成方案流程中：

首先，您需要在「数据来源」板块下，通过「源类型 + 数据源」两级下拉选择集成方案的所属数据源，如果您创建的数据源没有在下拉菜单中展示出来，可以点击右侧的刷新按钮刷新下拉菜单。

在选择数据源后，需要填写具体数据文件、数据表的读取方式，这些配置与数据源相关，不同数据源需要配置的信息不同，请根据实际情况完成数据来源的配置：

提示

请注意，数据来源中的部分输入框（如上图所示的「文件路径」）支持使用参数表达式，如基准时间参数 ${bd}，从而实现每次读取具体某一天的数据。

接着，您需要配置数据去向，也就是写入数据的目标表：先选择去向数据源（如 预置仓 → 本空间库表），再在「目标空间表」中选择库和表。需要注意，一个目标表只允许设置一个集成方案，因此部分数据表不能选择作为目标表。如需生成新的数据表，可以前往「开发」模块或者点击下拉菜单底部的「新建空间表」快捷按钮前往创建；另外，如果您希望写入的目标表没有出现在下拉菜单中，请点击右侧刷新按钮刷新下拉列表：

在选择目标表后，您还需要配置写入规则。如果所选目标表是分区表，则需要确定写入的分区，每个分区字段前可选择取值方式（常量 / 字段 / 参数，如${bd}）。写入模式可以选择「覆盖写入」以及「插入新数据」。

在完成了「数据来源」与「数据去向」的配置后，您可以点击「字段映射」模块的解析按钮读取来源与去向的表结构。如果您的配置是正确的，则可以看到源表与目标表的字段信息，并可以进行字段映射配置：

提示

若集成方案中使用了参数：

• 基准日期参数${bd}：解析映射时将会使用昨日日期赋值；
• 理论调度时间参数${st}：解析映射时将会使用当前时间赋值。

您可以点击「同名映射」与「同行映射」按钮快速创建来源与目标字段的映射关系，也可以点击「取消映射」去除所有的映射关系。如果您需要单独配置字段映射关系，可以点击源表字段后的加号，并在弹窗中设置目标字段。需要注意一个目标字段只能对应一个来源字段，所以部分字段不能被选择。

提示

在进行数据同步时，系统会使用 CAST() 函数对源表字段进行转型，尝试将其类型转换成目标字段的类型，如果转型失败，则目标字段的值将会被设置为 NULL

最后，您需要设置集成方案的基本信息，包括方案的名称、负责人、集成的同步速率以及备注等。完成配置后，可以点击保存按钮完成集成方案的创建。

集成方案详情页

在创建集成方案后，您可以在列表页点击集成方案名称进入到集成方案的详情页。在集成方案详情页，您可以查看集成方案的配置，并进行手动执行、挂载任务流等操作。

您可以点击卡片右侧的「手动执行」按钮，在「手动执行离线同步」弹窗中选择必选的「执行模式」（独占模式 / 共享模式）后点击「开始执行」，触发一次离线同步任务，执行后的记录可以在「手动执行记录」TAB 中查看。

另外，如果您在集成方案中使用了参数，则手动执行时可以设置本次执行的参数值，如下图「基准时间」对应参数 ${bd}：

编辑集成方案

在列表页或详情页点击编辑按钮即可进入到集成方案的编辑页，在集成方案编辑页，您可以调整数据来源、数据目标、字段映射以及除集成方案名之外的其他信息。需要注意，如果原有的数据来源或数据目标字段出现异常，如字段删除等，则您需要去除所有异常的映射关系后才能保存，您可以手动设置或直接点击「清空异常映射」按钮去除所有有问题的字段映射。

挂载任务流

在创建完集成方案后，您可以将该方案挂载到任务流上，从而使用任务流的定时调度能力实现定时同步需求。您可以在集成方案的详情页，点击卡片右上角的「挂载到任务流」按钮进入挂载任务流的流程：

在挂载任务流的流程中，第一步是在下拉菜单中选择需要挂载的任务流。如果您需要创建新的任务流，可以直接点击下拉菜单底部的「+ 任务流」快捷按钮，也可以前往「开发」模块创建新任务流。如果您想要挂载的任务流没有出现在下拉菜单中，请点击右侧的刷新按钮刷新下拉菜单。

接着，您需要在所选任务流中创建一个新的「离线同步方案」类型的任务节点，该节点指向当前集成方案，创建时同样需要选择「执行模式」（独占 / 共享）。当该任务节点在进行调度或执行时，相当于调试或执行其所指向的集成方案。当您完成同步节点的配置后，请点击「创建节点并挂载」按钮触发挂载处理。

当挂载完成后，您将看到如下弹窗，此时您可以点击「前往任务流」前往查看挂载的任务流。

提示

需要注意，挂载任务流所创建的任务节点处于尚未发布状态，因此我们非常建议您前往查看任务流，且将该节点发布上线。

解除任务流挂载

最后，如果您希望解除任务流挂载，您需要：

1. 前往该方案挂载的任务流，在开发模式删除指向该方案的「离线同步方案」任务节点
2. 将上一步中删除的「离线同步方案」任务节点发布上线，当发布上线后，即解除了任务流的挂载