我在测试增量同步的时有点问题,表里有5条数据,第一次跑读取全部5条没问题,第二次因为设置了增量,源表也没变更,所以读取0条也没问题,但是第三次又是读取了全量5条,就这样一直循环下去。
匿名用户
发布于 2023-03-16 13:53
最新回复 2023-03-16 13:59 来自于
群内解答
808
2
我在测试增量同步的时有点问题,就是会反反复复,我的表里有5条数据,第一次跑读取全部5条没问题,第二次因为设置了增量,源表也没变更,所以读取0条也没问题,但是第三次又是读取了全量5条,就这样一直循环下去。 大佬可以帮忙看下可能是什么问题吗?

普罗米休斯设置的也是保存 60天

看了下,是从这个地方开始异常的
增量标识字段是一个时间格式的数据,这个地方变成了负数,所以导致下一次任务重新全量跑数据

2条回答
-
回复于 2023-03-16 13:59
-
按照一般的想法,这个周期没有同步数据,那应该是会把上个周期的 endLocation 取出来打到这个周期 endLocation,现在是变成了负数,不知道哪里出问题了。 我没找到 prometheus 相关的逻辑,不知道哪里处理的。
0
1
回复于 2023-03-16 13:59
可以拿chunjun测试下 第二次增量的这种场景 看最后endLocation写入是不是负数
-
回复于 2023-03-16 13:58
-
任务跑完 endLocation 变为负数了吗
0
1
回复于 2023-03-16 13:58
对,b99549ba854b5d4782efdf4c3eceae3b 这个任务id执行的效果是,读取0条数据写入0条数据,是正常的。
然后下一个周期跑任务,产生以上日志,会去获取上个周期的 location,取得为空。
会不会是这个原因导致的呢?所以就重新全量跑数据了,我还没看全