配置 COS 数据源
腾讯云对象存储 COS（Cloud Object Storage）用于存储文件等对象数据。通过配置 COS 数据源，您可以在数据开发平台中读取 COS 文件，并通过离线同步方案将数据写入 AE 预置仓空间表，供后续加工和分析使用。
使用限制
- COS 当前支持离线读取，数据去向为 AE 预置仓空间表。
- 暂不支持将 COS 作为数据去向，也不支持从 COS 直接同步到其他外部数据库。
- 使用 COS 存储的空间表暂不支持参与数据集成。配置数据去向时，请选择可参与集成的预置仓空间表。
开始配置前，请准备目标存储桶的地域、完整 Bucket 名称，以及有权访问该存储桶并读取目标文件的 Secret Id 和 Secret Key。同时，请确保平台运行环境能够访问对应的 COS 服务。
支持的文件类型与配置规则
COS 支持读取以下五种文件类型。创建数据源时只需填写连接参数；文件路径、文件类型和读取规则在离线同步方案中配置。
| 文件类型 | 配置说明 |
|---|---|
| csv | 可配置列分隔符和是否跳过表头。默认分隔符为逗号；支持单个合法字符，也可填写 \t 表示 Tab。除 \t 外，不支持多字符分隔符，也不支持双引号、回车或换行作为分隔符。 |
| text | 可配置列分隔符和是否跳过表头。默认分隔符为逗号；列分隔符按正则表达式解析，例如 \t 表示 Tab，\s+ 表示连续空白。如按竖线或点号分列，请分别填写 \| 或 \.。 |
| json | 选择 json 文件类型，并核对识别出的字段及数据预览结果。 |
| orc | 选择 orc 文件类型，并核对识别出的字段及数据预览结果。 |
| parquet | 选择 parquet 文件类型，并核对识别出的字段及数据预览结果。 |
文件类型需要与实际文件格式一致。CSV 与 Text 的分隔符处理方式不同，切换文件类型或修改读取规则后，请重新检查数据预览和字段映射。
创建 COS 数据源
- 进入目标工作空间，在数据开发平台 → 集成 → 数据源页面新增数据源。
- 在“半结构化”分类下选择 COS，点击下一步。
- 填写数据源名称、备注及连接参数。根据实际使用方式，选择生产环境与开发环境共用配置，或分别配置。
- 建议点击连通性测试区域的测试，核对连接结果。独立环境配置时，请分别测试生产环境和开发环境。
- 确认配置无误后，点击完成。创建成功后进入数据源详情页，可查看连接配置和连通状态。
数据源配置参数
| 字段名称 | 说明 |
|---|---|
| * 数据源名称 | 当前工作空间内唯一，长度为 1–80 个字符。创建后不可修改名称。 |
| 备注 | 选填，最多 200 个字符，可说明数据用途。 |
| 环境配置 | 默认“不区分环境”，生产环境与开发环境共用一套配置；选择“独立环境配置”后，分别填写两套连接参数。 |
| * 地域 | 存储桶所属地域的简称，例如 ap-nanjing。请使用实际存储桶的地域，而非中文地域名称。 |
| * Bucket | 填写包含 APPID 后缀的完整存储桶名称，例如 examplebucket-1250000000。此处填写名称，不填写访问域名、文件路径或 cos:// 等协议前缀。 |
| * Secret Id | 腾讯云访问密钥的身份标识，与 Secret Key 配套使用。 |
| * Secret Key | 与 Secret Id 对应的访问密钥，请填写具有目标存储桶访问权限的凭证。 |
带 * 的参数为必填项。COS 连接配置无需填写 Endpoint；地域和 Bucket 的填写方式可参考腾讯云的准备工作与地域和访问域名说明。
下图展示已有 COS 数据源的完整连接配置区，包含环境说明、地域、Bucket、Secret Id 和 Secret Key。敏感值已遮蔽。
图 1：COS 数据源完整连接配置。生产环境与开发环境共用一套配置；灰色遮挡区域为已脱敏的参数值。
若连通性测试失败，请根据页面提示依次核对地域与 Bucket 是否匹配、Secret Id 与 Secret Key 是否正确、账号是否具有所需访问权限，以及平台到 COS 的网络是否可达。修改连接参数后，建议重新测试。
创建离线同步任务
完成数据源配置后，进入集成 → 离线同步，新增集成方案。选择 COS 作为数据来源，并选择已创建的 COS 数据源。
配置数据来源
| 配置项 | 说明 |
|---|---|
| * 数据源 | 选择已配置的 COS 数据源。 |
| * 文件路径 | 填写 Bucket 内的相对文件路径，例如 incoming/events/data.parquet。页面会展示预置前缀，无需重复填写协议和 Bucket。可按需插入空间参数或使用 * 通配符，例如 incoming/events/*。 |
| * 文件类型 | 选择与实际文件一致的 csv、text、json、orc 或 parquet。 |
| 文件读取规则 | 选择 csv 或 text 后可配置列分隔符及跳过表头选项，具体规则见“支持的文件类型与配置规则”。 |
| 空目录标记成功 | 位于“高级配置”，默认关闭。开启后，文件目录为空时可将任务标记为成功；仅在允许没有输入文件的场景下开启。 |
填写路径后，可通过路径查看与数据预览功能检查实际读取范围和解析结果。确认路径、文件类型和读取规则正确后，再配置数据去向和字段映射。
配置数据去向与字段映射
数据去向选择 AE 预置仓空间表，并按目标表配置写入模式。覆盖写入会影响目标表已有数据，请根据实际同步需求选择。
完成来源和去向配置后，为源字段和目标字段建立映射。可手动指定对应关系，也可使用同名映射或同行映射。每个目标字段只能对应一个来源字段；请核对字段含义和类型，避免仅因名称或位置相同而建立错误映射。
下图为已有 COS 同步方案的字段映射示例。字段名及对应关系仅用于展示，应以您的文件内容和目标表结构为准。
图 2：COS 离线同步方案中的源字段与目标字段映射。
保存并检查方案
填写方案名称、负责人、同步速率和备注等基本信息后，点击保存。保存后可在详情页核对“字段映射”和“方案配置”；需要验证同步结果时，可使用手动执行，并查看执行记录及目标表数据。
离线同步方案挂流
需要按任务流执行 COS 数据同步时，可将已保存的离线同步方案挂载到任务流。
- 在集成方案详情页点击挂载到任务流。
- 选择目标任务流。若需新建任务流，可使用选择框中的新建入口，或前往“开发”模块创建。
- 填写同步节点名称，选择页面支持的执行模式，并按需设置负责人和备注。节点将关联当前集成方案。
- 点击创建节点并挂载。成功后，点击前往任务流查看节点配置。
挂载后新增节点处于开发状态。请检查任务流依赖及调度配置，并完成发布上线，之后通过任务流调度执行该方案。
如需解除挂载，在任务流开发模式下删除对应的离线同步节点。若任务流已发布上线，还需重新发布任务流，使生产环境中的挂载关系同步更新。