任务流节点
概述
在 AE 数据开发平台中，任务流节点是构成数据处理流程的基本单元，可理解为数据处理任务的抽象化表示。每个节点都有明确的输入、处理逻辑和输出。
任务流节点串联起数据处理的全流程，通过节点间的依赖关系实现数据的有序流转和处理。节点支持可视化编排，方便开发人员设计和管理数据处理流程。通过节点的状态和执行结果，可以实时掌握数据处理情况，及时发现和解决问题。
在任务流的【开发模式】下，点击侧边栏工具区中「任务列表」按钮，您可以查看当前任务流下的所有任务节点。
创建任务流节点
在任务流【开发模式】的侧边栏工具区中，点击「+新增任务」按钮，可以看到全部任务节点类型。
您可以通过将节点卡片拖拽到 DAG 图上来添加任务节点。
将节点拖拽到 DAG 图后，将展示创建节点 弹窗，您可以为新增节点的设置节点名并选择节点类型。
点击「创建并编辑」后便可直接进入节点编辑页面进行内容填写。
编辑任务流节点
双击选中节点，并点击页面上方的 编辑 按钮，即可进入编辑模式。
在编辑模式下，您可对当前节点的内容进行变更，点击 调试 可进行试运行测试。
您也可以使用AI（TIKI）进行日志解读，修改语句。
任务流节点类型
Trino SQL 节点
Trino SQL 节点支持标准的 SQL 语法，通过 Trino SQL 节点，可在任务流中快速构建高效的数据查询和处理逻辑，尤其适合需要跨数据源整合的场景。
您可以执行复杂的 SQL 转换（如窗口函数、JOIN、聚合），生成中间结果或写入目标表。
离线同步方案节点
在数据开发平台的任务流中，【离线同步方案】节点用于实现不同数据源之间的批量数据传输，支持定时调度和全量 / 增量同步。
您可以将创建好的 离线同步 方案挂载到任务流中，进行定时调度使用。
以下是其核心用法和注意事项：
-
跨源数据迁移
支持从关系型数据库（如 MySQL）、文件系统（如 HDFS）、数据仓库（如 Hive）等数据源，同步至目标存储（如 ClickHouse、Doris）。 -
全量 / 增量同步
- 全量同步：每次覆盖写入目标表（适合小表或初始化）。
- 增量同步：基于时间戳、自增 ID 等条件增量更新（如
WHERE update_time > '${bd}'）。
-
数据转换
支持字段映射、类型转换、过滤条件等简单 ETL 操作（如将int转为bigint）。
任务实例检查节点
检查节点是一类特殊的任务节点，其主要的功能是定期检查某个符合条件的对象是否存在，如果检查通过则任务节点继续执行，如果检查失败则不会继续执行（任务流可能会因此终止）。检查节点的内容结构与 SQL 节点不同，主要通过表单配置内容，以下是检查节点主要的配置项：
- 检查的对象：也就是检查的内容，是最主要的部分。关于检查对象，支持多对象：点击「添加对象」可添加多个检查对象（最多 20 个），同时识别多个对象是否存在，多个对象之间可切换「且」/「或」条件
- 检查对象的过滤：部分检查节点检查的内容会更为细致，比如对于分区表的检查，除了检查分区表是否存在之外，可能还要检查某个特定分区是否存在；本例就是一个需要额外条件的场景，检查的是任务/任务流的具体基准时间的实例是否存在
- 检查通过条件：一般来说，检查的通过条件是检查的对象是否存在或者是否处于某个状态
- 检查的频率：也就是多久检查一次，单位为分钟
- 停止检查策略：也就是在什么情况下检查节点会停止检查。在「检查策略」的「检查次数」中设置，超过设定的次数仍未检查通过时，检查失败并停止检查（「检查策略」中的「检查频率」即上一项）
流实例检查节点
【流实例检查节点】用于检查当前或其他任务流的实例运行状态，确保流任务按预期执行。
您可以通过配置检查条件，对 当前任务流 或者 其他任务流 进行定时检查。
Shell 节点
Shell 节点用于执行自定义 Shell 脚本，可灵活实现数据处理、文件操作、工具调用等任务。
通过 Shell 节点，可在任务流中集成自定义操作，弥补平台内置节点的不足，实现复杂的数据处理和运维自动化需求。
任务节点状态
| 任务状态 | 状态说明 | 可转至 |
|---|---|---|
| 待发布 |
| 发布中 已删除 |
| 发布中 |
| 已上线 待发布：发布失败回退 |
| 已上线 |
| 待发布 已上线（等待删除） |
已上线（等待删除） |
| 已删除 已上线 |
| 已删除 |
| - |
任务流节点运行实例
您可以在【运维】-【任务节点实例】模块查看所有的任务运行实例 及 运行状态。