任务流

最近更新 2026/10/03

任务流（flow）简介

在数据仓库中，通常有两类数据处理的业务流程：任务流和临时查询。任务流用于稳定数据模型的数据更新，而临时查询则用于灵活性的数据查询和数据处理。

与临时查询相比，任务流的计算特征通常是周期重复执行，并且尽可能进行增量处理和更新。计算过程会设计分层和层间依赖，同时在计算时会持久化中间层结果，以便用于下游的计算任务。这主要是为了保持口径一致性、同期数据一致性，以及节约计算成本。

任务流的多层路径和多分支是其复杂度的主要表现形式。因此，在数据开发实现中，会将业务数据模型拆分为多个 flow。有些 flow 用于某类数据源的入库清洗，有些 flow 则用于合并多个源的数据，形成多维度的业务宽表。这样的切分方式不仅降低了维护复杂度，也便于分工，同时局部重构和调试也更加容易。

AE 数据开发平台支持先进的可视化 Workflow 搭建批处理任务流，本章将为您详细介绍任务流的使用方式。

具体章节分为：

• 创建任务流：为您介绍任务流的创建方式，和任务流双环境的发布模式
• 任务流节点：为您介绍任务流中可使用的任务节点类型和对应的使用方式
• 任务流调度配置：为您介绍任务流的调度配置方式，支持任务流 cron 和间隔调度策略，自定义异常处理策略
• 任务流参数配置：为您介绍任务流上对空间参数和流参数的灵活调用方式
• 任务流发布：为您介绍任务流的发布方式
• 任务流管理和运维：为您介绍任务流的管理和流实例运维方式