博客 FlinkX HDFS Write vs StreamFileSink设计原理与使用丨直播回顾

FlinkX HDFS Write vs StreamFileSink设计原理与使用丨直播回顾

数栈君发表于 2021-12-06 20:32 631 0

哈喽！朋友们

11月23日晚19:00

袋鼠云数栈的

大数据引擎开发技术大咖-渡劫

在钉钉群、微信视频号和B站同步直播

FlinkX技术分享

《FlinkX HDFS Write vs StreamFileSink设计原理与使用》

有没有看呢？

我们看过的小伙伴

都表示学到了

渡劫深入浅出的把日常遇到的困惑完美解答

错过的人儿想看的话

（方法贴在下面了）

下面和数栈君一起回顾下

本次的直播主要讲了些啥？

敲黑板，划重点

一、Flinkx-FileSystem原理与使用

二、StreamFileSink原理与使用

三、Flinkx-FileSystem 与 StreamFilesink对比

为满足Flink的exchange-once语义，FlinkX的文件系统与Flink的StreamFIleSInk均对文件进行了状态的分类，只有在ck的时候将任务移动到数据目录下，而FlikX同时支持离线模式，可以任务结束时，将数据移动到数据目录下。
StreamFileSink在非batch模式下，如果没有ck则文件状态一直是progress 或者pending状态。
同时对于文件都有滚动策略，而StramFileSink则滚动策略更丰富，支持时间相关的配置，FlinkX仅支持文件大小的配置。

错过直播的朋友请注意：

钉钉或搜索：30537511 加入技术交流群，回看直播，获取完整的课件资料。

在b站搜索“袋鼠云”回看直播视频

我们定期会邀请技术大牛来给我们做分享，大家关注我们的下一期直播哦～