数据湖可以将企业内不同类型的数据库统一纳管,但来自不同数据库的数据,如果没进行过数据治理是没法统一服务的,那么数据湖怎么做数据治理呢?
其实数据库都是类似的,他们主要都是处理结构化的文本数据。处理方式都是使用SQL!
因此,虽然数据存放在不同数据库中,但是我们可以通过解析SQL来建立起他们之间的联系。这就需要用到:基于SQL图形化数据血缘系统。
这个系统可以将不同脚本(perl、shell、存储过程等)中的SQL代码自动提取并解析生成图形,且提供字段级血缘追溯机制,让数据治理工程师可以跨数据库进行数据治理。
袋鼠云的湖仓一体可以了解一下。
湖仓一体(EasyLake), 提供面向湖仓一体的数据湖管理分析服务,基于统一的元数据抽象构建一致性的数据访问,提供海量数据的存储管理和实时分析处理能力,帮助企业快速构建湖仓一体化平台,完成数字化基础建设。
内容来源于网络,如侵删。
扫码下载《数据治理行业实践白皮书》,下载地址:https://fs80.cn/4w2atu
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack