理解概念是理解数据管理的第一步,很多概念我们知道,但内涵却不清楚,或者你以为清楚,这类澄清概念的文章可以很好的帮到你! 源于数据治理周周谈 ,作者徐康 随着数据治理工作的深入,数据标准的理念逐步为人所知、所识。但是,数据架构是什么,如何管理,谁来负责,还...
数据架构与数据模型数据架构与数据模型两者关系经常是讨论的热点。 因为数据架构里面主要工作和产物就是数据建模和数据模型,那为什么要将两者作为独立的两个过程域。 本文将对此问题进行探讨。在《数据管理知识手册》(DMBOK 2)的第二版中,数据架构定义为管理数据资产...
文章中所有内容均为本人从事大数据行业以来,所遇到的数据资产管理中暴露出来的通用性问题以及思考后总结的一些解决思路,无关具体行业与业务。 希望自己的思考可以给各位同仁提供一些微不足道的参考。一、痛点总结1.1 元数据管理痛点 目前很多公司或是同仁几乎...
一、什么是数据资产? 1.1、数据的来源 数据是由企业过去经营过程中交易或事项积累下来的数字化记录,不仅包含传统意义上的数据,还包括文本、声音、图像、照片和视频等类型的数据,也包括微博、微信、消费记录、出行记录、文件等等数据。 1.2、什么数据才能称为资...
1.TBDS 账号 新增功能说明 有 TBDS 账号的用户,往集群提交任务时以个人账号提交,其余统一以默认账号提交。2.全局/任务告警新增“启停策略执行失败”触发方式 新增功能说明 背景:目前平台无法感知到启停策略是否执行成功,比如运行中的任务是否按照...
欢迎来到袋鼠云08期产品功能更新报告!在瞬息万变的市场环境中,我们深知客户的需求与期待,因此,我们及时推出袋鼠云最新产品更新及优化,包括数据治理中心、Hive SQL 性能优化、新插件等,助力企业在数字世界中勇往直前。以下为袋鼠云产品功能更新报告08期内容,更...
随着业务飞速发展,某汽车制造企业业务系统数量、复杂度和数据量都在呈几何级数的上涨,这就对于企业IT能力和IT架构模式的要求越来越高。加之企业大力发展数字化营销、新能源车等业务,希望通过持续优化客户体验,创造可持续发展的数字化转型之路。为更好应对数字化变革所带来...
1)、内嵌模式:将元数据保存在本地内嵌的derby数据库中,内嵌的derby数据库每次只能访问一个数据文件,也就意味着它不支持多会话连接。2). 本地模式:将元数据保存在本地独立的数据库中(一般是mysql),这可以支持多会话连接。3). 远程模式:把元数据保...
Druid 的目标是提供一个能够在大数据集上做实时数据摄入与查询的平台,然而对于大多数系统而言,提供数据的快速摄入与提供快速查询是难以同时实现的两个指标。例如对于普通的RDBMS,如果想要获取更快的查询速度,就会因为创建索引而牺牲掉写入的速度,如果想要更快的写...
写在前面:这是一个系列文章,沉淀了我在数据治理领域的一些实践和思考。共分为5篇。分别是:一、大数据治理:那些年,我们一起踩过的坑主要讲讲数据治理工作中常见的一些误区。二、要打仗,你手里先得有张地图:数据治理之元数据管理这一篇讲讲元数据的概念和具体应用场景。三、...