数据去重工具
一、简介
数据去重工具主要用于将 AE 系统中的重复的事件数据去重处理，支持根据时间段以及事件类型去重事件数据。
因为去重会占用集群计算资源，我们建议只在数据异常时进行数据去重，不建议作为频繁去重数据，请谨慎使用本工具。
二、使用说明
数据去重工具只支持私有化服务的用户使用。root 用户登录私有化集群里部署了二次开发工具的服务器（分布式默认前三台），执行su - ta
然后执行ta-tool dupevent_del，即可进入数据去重工具界面。
2.1 填写需处理项目的 appid
项目的 appid 可在 AE 后台「项目管理 → 项目配置 → 接入配置」的项目信息卡片中查询，也可在「数据 → 数据接入 → 接入指南」的页头查看。
2.2 确认项目名称
输入完毕后会提示需要去重的项目的项目名，输入"y"进行确认，输入"n"取消操作
2.3 填写需要去重的事件名
接下来需要输入去重事件的事件名，此处输入的事件名是传输数据时的 key 值，不是显示名，可在「数据 → 数据管理 → 事件」中查询事件名，去重多个事件可用","分割，输入完毕后会提示将要去重的事件名。
如果不输入任何字符直接回车确认，视为去重所有事件数据：
2.4 填写在去重逻辑中忽略的列名
接下来需要输入判断去重逻辑忽略的字段名，默认已经去掉 AE 自用字段参与重复逻辑判断，例如"#server_time"，"#kafka_offset"字段不参与重复判断逻辑，忽略多个字段可用","分割，输入完毕后会提示将要忽略的字段名。
2.5 填写去重事件数据的时间范围
接下来需要输入去重数据的时间段，可选的时间颗粒度为“天”，请以yyyy-MM-dd的格式输入日期，此项为必输项：
2.6 最终确认
最后在数据去重前，会进行最后的确认，包括去重项目的名称，去重事件的名称以及去重的时段，共需确认两次（第二次会再次提醒去重后数据将无法恢复），两次都输入"y"才会开始处理数据，如有错误可输入"n"退出工具重新输入：
2.7 完整执行流程
确认后会进行数据去重，如下图去重整个流程截图：
三、注意事项
- 在使用数据去重工具前，请确认好数据重复原因，避免去重同时有重复数据进入，无法保证去重效果。
- 去重需要占用集群计算资源，不建议频繁使用。
- 如果出现如下提示，是集群在进行数据合并，可以等待它自己自动执行，如果长时间卡在此处可以联系运维人员排查。
需要后台数据同步任务结束后，执行去重，5分钟后重试，请等待！第1次