问答 我在测试增量同步的时有点问题,表里有5条数据,第一次跑读取全部5条没问题,第二次因为设置了增量,源表也没变更,所以读取0条也没问题,但是第三次又是读取了全量5条,就这样一直循环下去。

我在测试增量同步的时有点问题,表里有5条数据,第一次跑读取全部5条没问题,第二次因为设置了增量,源表也没变更,所以读取0条也没问题,但是第三次又是读取了全量5条,就这样一直循环下去。

   匿名用户    发布于 2023-03-16 13:53 最新回复 2023-03-16 13:59  来自于   群内解答  411  2

我在测试增量同步的时有点问题,就是会反反复复,我的表里有5条数据,第一次跑读取全部5条没问题,第二次因为设置了增量,源表也没变更,所以读取0条也没问题,但是第三次又是读取了全量5条,就这样一直循环下去。 大佬可以帮忙看下可能是什么问题吗?

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/question/bd904d9c58eab1bcac6365649751cdfb..png

普罗米休斯设置的也是保存 60天

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/question/cb9b530be54547b90b9eca81a1b4395b..png

看了下,是从这个地方开始异常的

增量标识字段是一个时间格式的数据,这个地方变成了负数,所以导致下一次任务重新全量跑数据

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/question/9e5166c101b33cce54021625ebfc8324..png

2条回答
群内解答
回复于 2023-03-16 13:59

按照一般的想法,这个周期没有同步数据,那应该是会把上个周期的 endLocation 取出来打到这个周期 endLocation,现在是变成了负数,不知道哪里出问题了。 我没找到 prometheus 相关的逻辑,不知道哪里处理的。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user68/answer/38edd810b023ff651779377b2052f1a5..png

0 1
群内解答
回复于 2023-03-16 13:59
可以拿chunjun测试下 第二次增量的这种场景 看最后endLocation写入是不是负数
群内解答
回复于 2023-03-16 13:58

任务跑完 endLocation 变为负数了吗

0 1
群内解答
回复于 2023-03-16 13:58
对,b99549ba854b5d4782efdf4c3eceae3b 这个任务id执行的效果是,读取0条数据写入0条数据,是正常的。 然后下一个周期跑任务,产生以上日志,会去获取上个周期的 location,取得为空。 会不会是这个原因导致的呢?所以就重新全量跑数据了,我还没看全
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群