博客 聊聊企业数据治理、大数据平台产品

聊聊企业数据治理、大数据平台产品

   数栈君   发表于 2023-02-07 16:51  263  0

数据治理有两种含义,分别是对数据的治理和利用数据治理。这二者相互联系,但并不冲突。从数据本身治理看,数据是一种新的经济增长驱动因素。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/03f6ba5401fdc2c8c54e16db12967646..jpg

随着企业信息系统的发展,数据的管理和管治变得更为复杂,不仅包含了企业内部网,还包含了企业外部环境数据的外部网。大部分企业缺乏专门的数据治理规划来指导数据治理的具体实施。企业内部设置专职数据治理部门和数据治理岗位仍在少数,大多数据治理规划都还停留在兼职部门和岗位层面。

数据治理不只是技术问题,更是一个管理问题。例如大家常见的项目管理系统只是一个工具,如何让项目管理工具与项目管理思想相匹配才是项目管理系统实施过程中的最大挑战,也才能发挥最大的效果。数据治理也是同样的道理。

企业数据治理现状

1.跨组织的沟通协调问题
数据治理是一个组织的全局性项目,需要IT部门与业务部门的倾力合作和支持,需要各个部门站在组织战略目标和组织长远发展的视角来看待数据治理。因此,数据治理项目需要得到组织高层的支持,在条件允许的情况下,成立以组织高层牵头的虚拟项目小组,会让数据治理项目事半功倍。

2.投资决策的困难。
组织的投资决策以能够产生可预期的建设成效为前提,但往往综合性的数据治理的成效并不能立马体现,它更像一个基础设施,是以支撑组织战略和长期发展为目标,所以,导致此类项目无法界定明确的边界和目标,从而难以作出明确的投资决策。

3.工作的持续推进。

数据治理是以支撑组织战略和长远发展为目标,应当不断吸收新的数据来源,持续追踪数据问题并不断改进,所以数据治理工作不应当是一锤子买卖,应当建立长效的数据改进机制,并在有条件的情况下,尽量自建数据治理团队。

4.技术选型。
随着大数据的发展,各种名词层出不穷,令人眼花缭乱,例如:数据仓库、ETL、元数据、主数据、血缘追踪、资源目录、结构化非结构化、Hadoop、Spark 联机事务处理(OLTP) 联机分析处理(OLAP)、商业智能(BI)等等。

这里面有针对传统数据库的,有针对大数据数据库的,再加上组织对自身数据资产情况没有一个清晰的认识,这也就导致了数据治理的技术选型困难。而当下,基于传统关系型数据库仍然特合绝人数据企业的业务需求。

大数据开发与治理平台

袋鼠云自主研发的一站式大数据开发与治理平台“数栈DTinsight”,包含离线开发平台BatchWorks、实时开发平台StreamWorks、数据资产平台DataAssets和数据服务平台EasyAPI,基于批流一体数据集成工具ChunJun、自研分布式调度引擎Taier、全链路血缘解析、高性能数据服务网关等核心技术,提供DataOps、数据还原、全域数据治理、金融级安全保障等能力。主要应用于离线数仓升级、实时数仓建设、集团型数据平台建设等场景,聚焦数据融合治理,让企业数据资产“可见、可用、可懂、可运营”,加速企业通往数据智能化的步伐

袋鼠云在大数据领域深耕7年,拥有丰富的大数据平台建设经验和成熟的产品体系,想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群