博客基于数据中台的大数据治理，企业数字化整体架构

基于数据中台的大数据治理，企业数字化整体架构

数栈君发表于 2023-01-12 15:53 306 0

传统数据界面的问题

当我们把企业数据化的事情提升到战略高度时，会发现当前的种种情况，不足以满足这样的定位。传统数据界面的几个最大问题包括：

一难以形成自驱力

企业数据化是复杂工程，涉及到企业中的多种要素，企业数据化整体规划和设计不足，各种问题相互缠绕，数据化建设难以驱动。

二不重视数据中台的作用和价值

从各个业务部门的视角而言，多是提出数据需求，建设过程中也多是局部项目和小战役，数据价值的产生不顺畅，只能产生小部分数据，大部分需求被结构化、规范标准、数据质量、数据资源缺失等问题所困扰。而这些问题的解决需要整体架构上的规划、设计、推动，不是单独一个部门就能够驱动的。

三数据治理是基础难题

数据治理沉重和复杂，很多数据应用的需求最后都在数据治理上碰壁，所以数据治理是一个基础性工作，与数据中台同等重要。可幸的是，近两年很多企业都开始进行数据治理工作，甚至已经取得初步成果。

四整体技术能力需要升级

当前数据量，数据内容都发生了很大的变化，以往规整的结构化数据只是现在数据的十分之一甚至更少，所以技术平台需要整体升级，同时开源软件的不稳定性和使用的高门槛也制约了商业化应用的需求。

企业数据化建设是一个战略工程，需要进行整体的规划和体系设计，在当前的阶段，数据中台以事实证明，是企业目前最合理和最行之有效的架构方式。

数据中台架构不但在阿里巴巴自身有着极为成功的应用，伴随近几年袋鼠云在众多行业头部客户具体场景中的实践，也证明数据中台架构能够很好地为传统企业应用。

数据界面整体架构

数据应用层

数据应用层代表了所有的数据应用需求，如前所述，企业数据化建设的成果就是数据，这些数据最终被业务人员和应用系统所使用，并在使用的过程中产生业务价值。数据应用层的「原子粒度」是各种业务指标和实体标签，这些数据以报表、数据应用、画像系统、数据API系统等形式展现。

数据中台层

数据中台层是杜绝了数据应用层直接接触数据源的情况，数据中台层在「企业整体层面」将所有数据进行了完整的汇聚和统一的建模。数据中台向上支撑数据应用层的建设，向下驱动数据资源的获取和质量提升。数据中台层本身的「全域数据汇聚」功能就是一件最重要的事情，数据汇聚在一起本身就能产生很大的价值，另一方面通过这层的基础建设，数据应用的开发时间也会大大地缩短，同时数据中台可以根据汇聚的全域数据有效判断数据资源是否全面和数据资源质量是否满足后续应用需求。

前端数据规划引擎

数据规划引擎包含「数据资源盘点」和「数据应用规划」两个部分。

数据资源盘点工具
辅助数据开发人员将所有应用界面的数据源盘点清楚。数据资源盘点工具主要存储数据源中的元数据，并进行最基础的数据源情况分析。数据资源盘点工具还会对盘点的内容进行必要的统计和分析工作。

数据应用规划引擎
主要包含两个部分内容：
第一个部分是企业业务描述，这个业务描述是树形结构，从最粗粒度的企业价值链和实体（人货场）描述，逐步细分。
另一个部分是数据应用场景和所有的指标与标签。最后将业务场景和数据场景相互关联。
通过这个工具，企业可以清晰地知道当前企业有哪些数据应用的需求，并清晰知道这些数据应用支撑了哪些应用场景，然后评价业务价值。

数据应用规划工具与数据资源盘点工具构建在一个平台之上，相互之间紧密关联，数据规划引擎中的种种指标和标签最后都将与数据资源相关联。

这样也就完成了整个数据供应链的绘制。企业数据化建设可以依靠数据规划引擎中所描述的内容依次建设。

后端数据运营引擎

传统企业中，如何使用好数据，如何让数据发挥更大的价值，数据运营团队起到了核心驱动作用。这个团队是企业数据化建设的另一个驱动引擎。

每个数据指标怎么用，每个标签怎么看，如何辅助和指导业务都需要数据运营团队和企业业务部门紧密结合，解答企业业务部门的各种问题，同时将需求和问题记录并转化为企业数据化建设中各个部分的需求。同时运营团队也对数据指标的准确性和使用价值负责，保证最后数据应用价值的产生。

数据界面的整体架构问题，恰恰针对了当前企业数据化的整体难题，一方面注重整体的数据化设计和规划，另一方面建立数据运营体系保障数据应用效果。这两个方面共同作用，就像是两个驱动的引擎不断促进企业整体数据化进行。而处于中间的数据源，数据中台，数据应用，就像一个「数据供应链体系」，以往我们只是割裂地关注某一个层面的事情，分而治之，当前我们更是要把这个流程串接起来，清晰明确地看到整个数据链条。

「数据中台」的架构，保证了数据的坚实基础，把部门级数据应用上升到企业级数据应用，集中力气办大事，该整体来解决的问题，就都交到平台层和基础层，数据应用是端的问题，丰富而复杂，但是只要台子够坚实，那么无论有多少端，开发出来也是高效的、愉快的。