元数据传统的 RDBMS 经过了多年的行业应用,产品打磨,在元数据方面做得还是比较完善的。而云数据平台因为还没有普及,在各家公司内部搭建过程中往往容易被忽略。这部分的能力实际上作为企业级成熟产品是至关重要的一环。6.1 平台元数据平台在运行过程中会产生各种信息...
数据处理数据处理是整个平台中比较复杂,也是各种流派争夺比较激烈的部分。最典型的做法是使用两套计算引擎来分别支持批处理和流处理,与数据获取部分一致。这样做的好处是可以针对业务场景选择最合适的技术,且更能发挥框架本身的特长。绝大多数公司都是以批处理需求为主的,那样...
数据存储在进行数据获取后,就需要把数据保存到平台存储中。在前面的数据平台架构图中,我们看到作者把存储分成了 fast,slow 两块:快慢存储4.1 Slow Storage这个 slow storage 相对比较好理解,在数仓时代就是 warehouse 系...
在实际企业应用中,机器学习平台非常依赖于企业底层的数据平台,虽然这两年 AI 的热潮一波接着一波,但要很好地去落地算法应用,非常依赖于数据平台的基础建设。从 a16z 的一些分析报告 中也可以看出,目前数据平台类公司吸引了非常多的市场和资本关注,也应运而生了 ...
国际数据管理协会(Data Management Association ,又名DAMA International,以下简称“DAMA”)在其《DAMA数据管理知识体系指南(第2版)》一书中将数据治理进行了定义,即数据治理是对数据资产管理行使权力、控制和共享...
监控系统俗称「第三只眼」,几乎是我们每天都会打交道的系统,它也一直是IT系统中的核心组成部分,负责问题的发现以及辅助性的定位。ChengYing作为一站式全自动化全生命周期大数据平台运维管家,自然也提供大数据产品的监控服务。这篇文章,将为大家系统性地介绍Che...
我们正处于大数据和数字化转型的时代:数据无处不在;运用数据驱动的思想和策略在实践中逐渐成为共识;数据的价值已在科学研究和工商业的不同领域得到充分展现。然而,如果无法从数据中提取出知识和信息并加以有效利用,数据本身并不能驱动和引领数字化转型取得成功。如何让数据发...
一、传统数据界面的问题当我们把企业数据化的事情提升到战略高度时,会发现当前的种种情况,不足以满足这样的定位。传统数据界面的几个最大问题包括:1. 难以形成自驱力企业数据化是复杂工程,涉及到企业中的多种要素,企业数据化整体规划和设计不足,各种问题相互缠绕,数据化...
数据中台之数据集成1在现代企业中,由于使用场景、业务形态、技术选型、开发架构的差异,往往有多个异构的、基于不同的软硬件平台上的信息系统同时运行,这些系统的数据源彼此独立、相互封闭,使得数据难以在系统之间交流、共享和融合,从而形成了「信息孤岛」。随着信息化应用的...
弹指之间,时光已步入2023年。在过去的一年里,作为数字化浪潮的弄潮儿,袋鼠云积极投身其中,收获了累累硕果与行业赞誉。2022年度回顾系列从大事件、荣誉资质、签约客户、生态成果等层面,为大家一一呈现我们的“2022年成绩单”。202201权威认定获评省级高新研...