博客 大型集团企业数据治理的现状和解决方案

大型集团企业数据治理的现状和解决方案

   数栈君   发表于 2023-02-07 16:32  571  0
在大数据时代,数据治理是所有的拥有大量数据的公司的巨大的挑战。没有数据,企业缺乏用于做决策的数据的支持。可是有了越来越多的数据,很多情况下却增加了管理数据的成本,真正地让数据产生价值,却发现如何管理这些散碎在不同地方的数据,将数据有效的组织起来成了一个令人头疼的难题。

数据不能够被使用,就是成本,而不是资产。正是因为这个原因,数据治理和数据管理对于企业变得越来越重要。

企业数据治理是一套持续改善的管理机制,通常包括组织架构、政策制度、技术工具、数据标准、作业流程、监督及考核等多个方面,涉及的IT技术主题众多,包括数据体系、管理体系、平台建设、数据管控等多个方面。

袋鼠云通用数据治理方案如下:

大数据开发与治理平台

袋鼠云自主研发的一站式大数据开发与治理平台“数栈DTinsight”,包含离线开发平台BatchWorks、实时开发平台StreamWorks、数据资产平台DataAssets和数据服务平台EasyAPI,基于批流一体数据集成工具ChunJun、自研分布式调度引擎Taier、全链路血缘解析、高性能数据服务网关等核心技术,提供DataOps、数据还原、全域数据治理、金融级安全保障等能力。主要应用于离线数仓升级、实时数仓建设、集团型数据平台建设等场景,聚焦数据融合治理,让企业数据资产“可见、可用、可懂、可运营”,加速企业通往数据智能化的步伐

(1)实时开发

袋鼠云离线开发平台StreamWorks基于Apache Flink构建的云原生一站式大数据实时开发平台,实现从实时数据采集、实时数据处理、任务监控运维的全链路覆盖。采用自研的ChunJun进行数据同步,兼容30+种类型的数据源,并支持日志采集。支持FlinkSQL和DataStream API作业开发,支持Flink多版本引擎,计算处理延时最低可达亚秒级别,并提供丰富的Metric运维监控曲线和日志功能。从而快速实现态势感知、IoT传感信息分析、实时反欺诈等场景,助力企业搭建实时数据处理平台。

(2)离线开发

袋鼠云离线开发平台BatchWorks是数据中台中的基座,包含全链路的数据集成、数据开发、周期调度、任务运维、监控告警等功能,具备灵活的多集群、多引擎对接能力。平台拥有多项自研核心技术,帮助企业快速完成数据中台离线计算部分的建设,加速释放数据价值。采用先进的大数据生态底层技术,通过Hadoop等开放的体系架构提供离线计算框架,具备高性能且功能丰富的大数据处理能力,可以最大化地萃取数据价值,完整实现数据应用的闭环。在提供开发环境和平台接口的同时,对大数据离线计算、数据仓库建设、企业图谱等多种应用提供有效支撑。


袋鼠云在大数据领域深耕7年,拥有丰富的大数据平台建设经验和成熟的产品体系,想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群