博客 基于数据中台的大数据治理,数字化驱动引擎之数据资源盘点

基于数据中台的大数据治理,数字化驱动引擎之数据资源盘点

   数栈君   发表于 2023-01-13 10:05  329  0

当前的「数据驱动引擎,在未来也许会成为数据中台的标配。但这并不妨碍我们现在来深入地探讨它。在前面的文章中,笔者介绍过数据中台加上双引擎的架构,也是当前袋鼠云所认为的对企业数据化建设最为有效和合理的一种架构;第二章的几篇内容详细介绍了数据中台;第三章,就重点阐述双引擎。



http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/bd0a628c07e61f211f4b8c716f41efd6..jpg

袋鼠云数据中台双引擎


笔者在近几年的工作中,除了业务创新以外,做的最多的一件事情,就是对齐,也就是处理GAP。因为,在一个体系中,GAP真的是太多了:每个人之间、每个岗位之间、每个部门之间、每个组织之间,知识、技能、职责都不尽相同,甚至大相径庭。当他们各自做事的时候,都问题不大,相互协作的时候,也依照流程进行。但是共同完成一个不确定事情的时候,则会遇到诸多阻力。企业数据化便是这样的问题,技术、数据、数据质量、数据应用、业务,都站在各自的一端,无法轻易绘制出整件事情的全貌。


企业数据化驱动引擎,简单来讲就是为了消除各个角色之间的信息差,将所有信息上墙(集中到一个地方展示),用信息的手段来解决信息差,加速整体数据化的进程。


数据资源盘点数据应用规划的基础和前提,也是数据开发同学每个项目之初所必须要做的事情。但是袋鼠云这里所谈的数据资源盘点,关键点在于「所有数据资源的盘点,是为数据应用规划和构建全域数据模型所进行的前置行为。我们把数据类型的最小颗粒度设定为表,一种文件类型或者一种类型的流文件。这些类型的约束下则是无穷无尽的数据。数据资源盘点的对象就是这些最小类型,以及大致的这种类型下的数据情况。


通常,我们会从数据库、文件、流、数据API等几个方面去整体梳理,然后在这个基础之上按照各个纬度对这些元数据进行分类,便于日后的统计和查找。

除此之外,我们还会对企业中应当有的、可以有的、外部有的各种数据进行绘制,当然这些描述带有一定的主观色彩。


  • 可以有的数据是基于现在的业务,哪些业务没有在线,那么在线以后这些数据就是可以有的。


  • 应当有的,则是从未来数据应用的角度来说的,我们想到了一个有趣的数据应用,那么必然会对数据资源提出要求,而这个数据资源如果是有可能获取到,那么我们就把他记录成应该有的数据资源,并且会给出一个概要的方案。


  • 最后就是外部数据资源和数据服务了,这个是一个很宽泛的话题,也很难以被穷举,但是使用最多的还是人员群体画像服务,这个服务可以非常有效的打通企业服务的数据闭环,从产品,渠道,营销,销售到顾客和服务,让所有的信息串联在一起并形成业务优化的可能。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/5f458f5f40727e5a419cf08d2b4b5d98..jpg

袋鼠云数据资源盘点工具


数据资源盘点工作还可以工具化操作,袋鼠云数据资源盘点工具也即将上线。数据资源盘点工具能有效提升数据资源盘点工作的效率,同时数据盘点的结果也可以在应用中得以沉淀和更便捷的维护,尤其是在数据资源盘点的统计和分析上,我们可以通过数据资源盘点工具非常方便得看到整体的数据资源情况。


数据资源盘点是数据应用规划和全域数据的前提和基础,也是整体数据中台架构中的关键一环,以往我们总是不经意的忽略了这个环节,然后几项内容就割裂开来,然后便自说自话,前后无法印证了。所以数据资源盘点是一项非常基础和重要的工作,需要企业予以重视。


相关阅读:

基于数据中台的大数据治理,企业数字化转型认知——数据就是生产力

基于数据中台的大数据治理,企业三界:业务界面,应用界面,数据界面

基于数据中台的大数据治理,企业数字化建设三范式

基于数据中台的大数据治理,企业数字化整体架构

基于数据中台的大数据治理,三个维度看数据中台

基于数据中台的大数据治理,聊聊数据源

基于数据中台的大数据治理,聊聊数据集成

基于数据中台的大数据治理,数据质量检测

基于数据中台的大数据治理,数字化驱动引擎之数据资源盘点

基于数据中台的大数据治理,数字化驱动引擎之数据应用规划

基于数据中台的大数据治理,数字化运营组织

基于数据中台的大数据治理,数据应用元素周期表

基于数据中台的指标管理及业务监控体系建设

基于数据中台的大数据治理,地产业务画像初探

基于数据中台的大数据治理,某知名鞋服企业基于画像体系的产品设计

基于数据中台的大数据治理,某省交警基于行车轨迹构建车辆画像应用案例

袋鼠云在大数据领域深耕7年,拥有丰富的大数据平台建设经验和成熟的产品体系,想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群