博客 一文详解六大关键特性,打开湖仓一体大门

一文详解六大关键特性,打开湖仓一体大门

   数栈君   发表于 2023-04-18 18:55  236  0
即便是湖仓一体本身,其构建也有着不同的路径选择。对于一些大厂而言,他们在数据湖和数据仓库方面有着很大的历史包袱,因此在湖仓一体的过程中会将两种产品结合起来打造一体化解决方案。而成立于2016年的偶数科技却不必背上这一包袱。他们打造的湖仓一体架构更贴近于技术发展潮流。
偶数科技的湖仓一体架构利用数据仓库的特性实现了数据湖的特性,能够支持结构化数据和非结构化数据的海量存储,保持存算分离,对海量数据节点能够实现弹性扩展。同时,偶数科技还通过可插拔存储实现了对于S3、HDFS及自研高性能表存储Magma的支持,以此实现了对于结构化、非结构化和半结构化数据的兼容。这就意味着避免了多份数据、多个集群与多个接口的问题,只需存一份数据,即可解决数据处理问题。
在业界来看,数据湖技术已经成熟,但数据仓库依然有各自的解决方案。因此在湖和仓之间如何更好地共享数据,如何支持用户的业务才是湖仓一体架构关注的核心问题。
偶数科技认为湖仓一体化的本质是一个平台,其湖仓一体具备六大关键特性,这成为了其湖仓一体产品的关键要素。
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/9de63880948665b3004c568050908394..jpg
湖仓一体平台应该具备的特点
1.    低成本的全量数据的单一存储;
2.    高性能的数据引擎,其相比Hadoop引擎快30余倍;
3.    良好的可扩展性与敏捷性,这里主要是采用了存算分离的架构,进一步提升了高集群扩展性,可插拔存储框架能够支持不同存储系统或者格式;
4.    事务的一致性保证,支持事务一致性保证ACID,其能够简化程序应用负担的,让用户不再需要考虑事务问题;
5.    多样化工作负载,支持所有工作场景与负载场景,包括各类数据仓库的BI传统报表以及数据湖的AI应用等,均可在同一平台上实现支持;
6.    易于实现的数据治理,能够通过数据治理保障数据质量,更好的支持应用。

免责申明:

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack

140页深度干货,囊括15个典型成功案例,覆盖金融、集团、政务、制造、港口5大行业,全书从方法论到实践全面解码数据治理,开辟数据治理新范式,丰富内容可免费获取!

免费获取链接:https://fs80.cn/4w2atu



0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群