问答我在测试增量同步的时有点问题，表里有5条数据，第一次跑读取全部5条没问题，第二次因为设置了增量，源表也没变更，所以读取0条也没问题，但是第三次又是读取了全量5条，就这样一直循环下去。

我在测试增量同步的时有点问题，表里有5条数据，第一次跑读取全部5条没问题，第二次因为设置了增量，源表也没变更，所以读取0条也没问题，但是第三次又是读取了全量5条，就这样一直循环下去。

匿名用户发布于 2023-03-16 13:53 最新回复 2023-03-16 13:59 来自于群内解答 204 2

我在测试增量同步的时有点问题，就是会反反复复，我的表里有5条数据，第一次跑读取全部5条没问题，第二次因为设置了增量，源表也没变更，所以读取0条也没问题，但是第三次又是读取了全量5条，就这样一直循环下去。大佬可以帮忙看下可能是什么问题吗？

普罗米休斯设置的也是保存 60天

看了下，是从这个地方开始异常的

增量标识字段是一个时间格式的数据，这个地方变成了负数，所以导致下一次任务重新全量跑数据

大数据开源大数据调度全量数据增量同步 taier答疑 Taier 普罗米修斯

2条回答

群内解答 回复于 2023-03-16 13:59

按照一般的想法，这个周期没有同步数据，那应该是会把上个周期的 endLocation 取出来打到这个周期 endLocation，现在是变成了负数，不知道哪里出问题了。我没找到 prometheus 相关的逻辑，不知道哪里处理的。

0 1

回复于 2023-03-16 13:59

可以拿chunjun测试下第二次增量的这种场景看最后endLocation写入是不是负数

群内解答 回复于 2023-03-16 13:58

任务跑完 endLocation 变为负数了吗

0 1

回复于 2023-03-16 13:58

对，b99549ba854b5d4782efdf4c3eceae3b 这个任务id执行的效果是，读取0条数据写入0条数据，是正常的。然后下一个周期跑任务，产生以上日志，会去获取上个周期的 location，取得为空。会不会是这个原因导致的呢？所以就重新全量跑数据了，我还没看全

社区公告

最新活动更多