二次开发工具

最近更新 2026/10/02

一、概述

2.8 版本，原数据删除工具合并至二次开发工具内。

ta-tool是 AE 私有化集群的二次开发工具，默认部署在前三台（单机系统必定部署）服务器上，提供多种方便用户使用的二次开发功能，现有的功能有：

数据删除
属性类型修改与删除
事件数据去重
导入自定义数据，自定义数据可通过 SQL 与事件表、用户表进行联查
删除自定义表
生成查询密钥，通过查询密钥，用户可通过 POST 方法调用查询 API
设置定期执行的脚本，可通过 SQL 查询 AE 后台的数据，并写回 AE 数据库中
设置定期执行的脚本，可通过 DataX 引擎，将其支持的数据源的数据写入到 AE 数据库中
数据归档以及数据回档

二、使用方式

登录到部署了二次开发工具的服务器（分布式默认前三台），执行su - ta命令，切换至 ta 用户，执行ta-tool查看命令帮助，显示如下：

su - ta
ta-tool

usage: ta-tool <命令> [选项]
命令:
user_event_import [-conf <configPath >|--configration <configPaht>] [-d <date>|--date <date>]   数据回溯
data_transfer [-conf <configPath >|--configration <configPaht>] [-d <date>|--date <date>]       导入自定义数据到TA系统
drop_table [-t <table>|--table <table>]                                                         删除指定表
generate_api_secret [-appid <appid>]                                                            基于appid生成对应的api_secret
generate_root_secret                                                                            生成root查询秘钥
data_archive [start|stop|retry] [-jobid <jobid>]                                                归档命令 (start启动任务,stop停止任务，retry 失败任务重跑需指定jobid)
data_reload  [start|stop|retry] [-jobid <jobid>]                                                回档命令 (start启动任务,stop停止任务，retry 失败任务重跑需指定jobid)
datax_engine [-conf <configPath >|--configration <configPaht>]                                  基于DATAX引擎导入数据到TA系统
update_user_by_foreignkey [-conf <configPath >|--configration <configPaht>]                     外部用户属性关联导入
data_del                                                                                        数据删除功能
dupevent_del  [-hashNum <hashNum>|-needIncludeServerTime <true|false>]                          重复事件去重功能
modify_meta                                                                                     元数据修改功能

选项:
 -appid,--appid <appid>                设置appid参数
 -conf,--configration <configration>   设置配置文件路径
 -d,--date <date>                      设置日期参数
 -h,--help                             显示帮助文档并退出
 -jobid,--jobid <jobid>                任务id 用户归档/回档失败时的指定任务重跑
 -t,--table <table>                    设置表名时删除指定表

示例:
ta-tool --help  显示帮助信息
ta-tool user_event_import -conf /data/home/ta/import_configs/*.json [-d 2019-08-01]      自定义用户事件数据导入TA系统
ta-tool data_transfer -conf /data/home/ta/dt_configs/*.json [--date 2019-08-01]          导入自定义表到TA系统
ta-tool drop_table -t test                                                               删除test表
ta-tool generate_api_secret -appid test-appid                                            生成api_secret
ta-tool generate_root_secret                                                             生成root查询密钥
ta-tool data_archive start                                                               数据归档
ta-tool data_reload start                                                                数据回档
ta-tool data_archive retry -jobid jobid_1234                                             数据归档失败任务重试
ta-tool data_reload  retry -jobid jobid_1234                                             数据回档失败任务重试
ta-tool datax_engine -conf /data/home/ta/datax_configs/stream2stream.json                调用datax引擎
ta-tool data_del                                                                         数据删除
ta-tool dupevent_del                                                                     事件数据去重
ta-tool modify_meta                                                                      元数据修改