问答 要支持分区表全量同步,配置表的hdfs路径后怎么找子分区目录,要怎么配置,能给个json样例吗

要支持分区表全量同步,配置表的hdfs路径后怎么找子分区目录,要怎么配置,能给个json样例吗

   匿名用户    发布于 2023-04-27 17:26 最新回复 2023-04-27 17:27  来自于   群内解答  236  1
1条回答
群内解答
回复于 2023-04-27 17:27

hdfs 没有增量同步的逻辑,都是把指定目录下的内容完整同步掉。你说的子分区同步的情况:我们是根据调度来配置的,调度可以根据调度时间(有表达式)可以配置你要的格式,来执行不同的分区数据的抽取,  

你可以看下taier 上有类似的实现、、


想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs


同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:

https://github.com/DTStack/chunjun

    

0 0
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群