问答 袋鼠云的数据湖解决方案选型的是那个框架?Hudi、Iceberg还是Delta Lake

袋鼠云的数据湖解决方案选型的是那个框架?Hudi、Iceberg还是Delta Lake

   匿名用户    发布于 2022-12-21 14:04 最新回复 2022-12-21 14:06  来自于   群内解答  105  1

袋鼠云的数据湖解决方案选型的是那个框架?Hudi、Iceberg还是Delta Lake,可以回答一下吗?

1条回答
群内解答
回复于 2022-12-21 14:06

在2020年末,技术团队做了众多技术方案的调研,包括包括Delta Lake、Hudi、Iceberg,我们最终选用了Iceberg


而选择Iceberg的原因,正是基于袋鼠云的技术栈的具体情况做了充足考虑:袋鼠云中的离线计算、实时计算、智能标签等应用,在计算层需要依托Spark、Flink、Trino等多种引擎为客户解决不同的业务诉求,在底层则可能需要对接客户自建云、公有云等混合存储。这就要求所选择的技术方案必须能满足对接多种类型的需求。


Iceberg具备接口开放、易于拓展的优点,十分符合我们的选型要求。在存储层HDFS上增加一个中间层Iceberg以跟踪数据文件,不必改变其他层的架构设计,就可以享受到Iceberg对数据文件管理带来的极速体验与美妙特性


想了解数据湖产品,欢迎点击:

https://www.dtstack.com/dtengine/datalake?src=bbs


想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack/chunjun

0 0
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群