问答 chunjun在处理数据的时候,是先把源端的数据都加载到内存后,再开始处理数据吗?

chunjun在处理数据的时候,是先把源端的数据都加载到内存后,再开始处理数据吗?

   匿名用户    发布于 2023-03-24 11:07 最新回复 2023-03-24 11:07  来自于   群内解答  306  2

  如果源端数据很多的话,是不是容易gg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/question/1ca279d0a10b89674562301e0e9173f9..png


2条回答
群内解答
回复于 2023-03-24 11:07

再提问:

  批处理的时候是读完数据在处理,流处理就是读完就往下游送老人是吧  

0 1
群内解答
回复于 2023-03-24 11:07
群内解答
回复于 2023-03-24 11:07

  流式处理 源端读取数据直接给下游


想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs


同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:

https://github.com/DTStack/chunjun  

  

    

0 0
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群