问答 请教下 这4个参数 设置了没有生效 抽取速度还是很快

请教下 这4个参数 设置了没有生效 抽取速度还是很快

   匿名用户    发布于 2023-06-02 10:57 最新回复 2023-06-02 10:59  来自于   群内解答  247  3

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/question/47c3dd5b57cda002f66277978606892f..png

  设置了 这几个参数 速度还是很快

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/question/d9eb2f4a141a97adc390e0c2abfe40c4..png
    

3条回答
群内解答
回复于 2023-06-02 10:59

  间隔轮询 2000W 数据 轮询完了 会自动退出吗 ?  

0 1
群内解答
回复于 2023-06-02 10:59
不会,数据读取完了,就等着。间隔轮询主要是在有数据不定期变更等情况下。
群内解答
回复于 2023-06-02 10:58

  那跟这个 fetchsize 一次性抽取 有关系吗 ?

fetchsize 1000 这个是一直在抽取 2000W数据 1000一点点取 中间没有间隔时间吗?

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user68/answer/9dd374d5db46ed02ee07b8d912ff1df8..png

  

0 1
群内解答
回复于 2023-06-02 10:59
fetchsize 是jdbc 参数,你看上面文档的这个描述,是指减少数据拉取的过程的。
群内解答
回复于 2023-06-02 10:58



这个几个参数和间隔轮询相关的。和性能有关系的就是fetchsize..


想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs


同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:

https://github.com/DTStack/chunjun    


  

0 2
群内解答
回复于 2023-06-02 10:58
嗯,是的间隔轮询就是 while(true)(wait(间隔时间),一次同步的点位置,开始读取)
群内解答
回复于 2023-06-02 10:58
间隔轮询意思是 这个任务 会一直间隔轮询跑吗 ? fetchsize 我设置成50了 抽取速度还是很快 .
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群