博客 FlinkX HDFS Write vs StreamFileSink设计原理与使用丨直播回顾

FlinkX HDFS Write vs StreamFileSink设计原理与使用丨直播回顾

   数栈君   发表于 2021-12-06 20:32  552  0
哈喽!朋友们
11月23日晚19:00
袋鼠云数栈的
大数据引擎开发技术大咖-渡劫
钉钉群、微信视频号B站同步直播

FlinkX技术分享
FlinkX HDFS Write vs StreamFileSink设计原理与使用
有没有看呢?
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/ae63748593fe59c523989feb86ac8c34..png

我们看过的小伙伴
都表示学到了
渡劫深入浅出的把日常遇到的困惑完美解答
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/796fa2ba839fa8a7f7fb7d49a9287665..png

错过的人儿想看的话
(方法贴在下面了)
下面和数栈君一起回顾下
本次的直播主要讲了些啥?

敲黑板,划重点

一、Flinkx-FileSystem原理与使用

  1. Flinkx-FileSystem设计

  2. Finkx文件写入逻辑

  3. FileSystem 场景

  4. FileSystem配置


二、StreamFileSink原理与使用

  1. StreamFileSink定义

  2. StreamFileSink写入原理

  3. StreamFileSink关键字

  • Bucket Assignment

  • Rolling Policy

  • Part File Lifecycle


三、Flinkx-FileSystem 与 StreamFilesink对比

  1. 为满足Flink的exchange-once语义,FlinkX的文件系统与Flink的StreamFIleSInk均对文件进行了状态的分类,只有在ck的时候将任务移动到数据目录下,而FlikX同时支持离线模式,可以任务结束时,将数据移动到数据目录下。

  2. StreamFileSink在非batch模式下,如果没有ck则文件状态一直是progress 或者pending状态。

  3. 同时对于文件都有滚动策略,而StramFileSink则滚动策略更丰富,支持时间相关的配置,FlinkX仅支持文件大小的配置。


错过直播的朋友请注意:

钉钉或搜索:30537511 加入技术交流群,回看直播,获取完整的课件资料。

在b站搜索“袋鼠云”回看直播视频

b站视频网址:https://www.bilibili.com/video/bv1MP4y1V7qS

我们定期会邀请技术大牛来给我们做分享,大家关注我们的下一期直播哦~

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群