问答 ChunJun 2023年第一期版本迭代问题收集

ChunJun 2023年第一期版本迭代问题收集

   数栈君    发布于 2023-02-14 15:31 最新回复 2023-02-15 11:21  来自于   群内解答  1272  9

本月ChunJun 开始规划新一期的迭代内容。大家在过去使用过程中遇到哪些场景是急需解决的?哪些使用起来是不易用的?
只要有想法,都可以发出来。我们一起来把ChunJun 完善起来  

9条回答
群内解答
回复于 2023-02-15 11:21

  mysql oracle这写关系型数据库sink支持upsert语法  

0 1
数栈君
回复于 2023-02-15 13:54
EWriteMode 设置成 UPDATE 就是按upsert 方式来实现的。
群内解答
回复于 2023-02-14 15:40

  mysql、sqlserver等表中数据里包含换行符,导致写入hive,写成多行数据,metric记录和hive实际写入数有差别  

0 0
群内解答
回复于 2023-02-14 15:39

  增加一个用户指定的job id和job name 看有没必要,上面说的统计信息的类似。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user68/answer/4beec57914ada447d35a00aa397d67af..png   

0 3
数栈君
回复于 2023-02-14 15:39
job_name 就是调度传过来用来识别任务的名称的。
群内解答
回复于 2023-02-14 15:39
不太方便与其他调度系统集成 联动(如在调度上加了一个任务 起了一个名),也可能是我这边用的还不熟。
数栈君
回复于 2023-02-14 15:39
用户指定的?当前job_id,job_name 不能满足需求?
群内解答
回复于 2023-02-14 15:34

  根据同步任务形成数据血缘  

0 0
群内解答
回复于 2023-02-14 15:34

  同步任务的统计信息(总记录数、脏数据数、同步速率、耗时等) 加一下类似脏数据输出表的配置。  

  类似这个,就是任务执行完,可以把任务的统计信息保存到指定表里。 

 

0 0
群内解答
回复于 2023-02-14 15:34

  希望实现数据全量+增量一体化迁移工具
例如从MySQL迁移到另一个MySQL,先执行全量同步过程,然后通过BINLOG补齐数据,最后切换BINLOG增量同步  

0 0
群内解答
回复于 2023-02-14 15:33

  升级高版本,cdc支持到2.x  

0 1
数栈君
回复于 2023-02-14 15:33
收到。flink1.16会尽快release 掉
群内解答
回复于 2023-02-14 15:33

  oracle writer update writemode 能否支持一下 long raw 图片数据的同步。  

0 0
群内解答
回复于 2023-02-14 15:33

  如何通过maven依赖导入chunjun模块,有提供吗  

0 1
数栈君
回复于 2023-02-14 15:33
chunjun 还没有在maven 中央仓库放插件包,需要的话,可以自己在本地install jar,然后依赖到自己的项目中
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群