数据血缘

数据血缘

揭秘|来看看袋鼠云数栈内部的数据资产血缘方案设计与实现

产品交流数栈君 发表了文章 • 0 个评论 • 502 次浏览 • 2023-07-19 16:51 • 来自相关话题

数据资产现在需要接入数栈内部相关应用的时候,支持查看血缘的类型从表、离线任务增加到需要表、离线任务、实时任务、API任务、指标、标签等,需要支持数栈现有的所有应用任务,最终实现在数据资产平台查看任务的完整应用链路。虽然增加不同的任务,现阶段资产实现的血缘大体上... ...查看全部

大数据技术(入门篇)--- 使用Spring Boot 操作 CDH6.2.0 Spark

网友分享数栈君 发表了文章 • 0 个评论 • 236 次浏览 • 2023-07-18 11:56 • 来自相关话题

认识HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 中的HDFS 是CDH数据系统中的核心存储单元,也是学习其他组件的基础... ...查看全部

监管数据治理治什么?1104、EAST、客户风险系统数据简介

网友分享数栈君 发表了文章 • 0 个评论 • 1332 次浏览 • 2023-07-18 11:55 • 来自相关话题

 近年来,随着经济社会数字化发展,商业银行逐步向数字化、智能化转型,监管部门对商业银行数据报送质量也越来越重视。自2020年5月9日工行、农行、中行、建行、交行、邮储、中信、光大8家商业银行因监管标准化数据(EAST)系统数据质量及报送存在违法违规行为,被银保... ...查看全部

数据仓库基础(通俗易懂,好文)数仓概念

网友分享数栈君 发表了文章 • 0 个评论 • 423 次浏览 • 2023-07-18 11:55 • 来自相关话题

  1、数据仓库的概念 数据仓库(英语:Data Warehouse,简称数仓、DW),是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。 数... ...查看全部

failed to authenticate user [elastic] 问题解决

网友分享数栈君 发表了文章 • 0 个评论 • 721 次浏览 • 2023-07-18 11:53 • 来自相关话题

1. 问题elasticsearch 突然出现问题Authentication of [elastic] was terminated by realm [reserved] -failed to authenticate user [elastic]2. 网... ...查看全部

数据迁移工具,用这8种就够了

网友分享数栈君 发表了文章 • 0 个评论 • 225 次浏览 • 2023-07-17 14:28 • 来自相关话题

最近有些小伙伴问我,ETL数据迁移工具该用哪些。ETL(是Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业应用来说,我们经常会遇到各种数据的处理、转换、迁移的场景。今天特地给大家汇总了一些目前市面上比较常用的ETL数... ...查看全部

浅谈数据血缘的实现原理

网友分享数栈君 发表了文章 • 0 个评论 • 337 次浏览 • 2023-07-10 17:31 • 来自相关话题

本文只阐述最基本的表级别的血缘关系的实现思路,真实的血缘实现,远比文章中的场景复杂。原理一  SQL解析之正则表达式在最开始时,刚毕业的小白,如果让你做好数仓的血缘元数据时,你会怎么做?在初期的小白根本就不懂编译器、语法分析、词法分析以及AST这些概念时,想到... ...查看全部

构建数据血缘的开源方案有哪些?

网友分享数栈君 发表了文章 • 0 个评论 • 725 次浏览 • 2023-07-10 17:30 • 来自相关话题

Apache AtlasApache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。官方插件支持HBase、H... ...查看全部

解读构建数据血缘的方案

网友分享数栈君 发表了文章 • 0 个评论 • 682 次浏览 • 2023-07-10 17:30 • 来自相关话题

一、前言数据血缘是元数据管理、数据治理、数据质量的重要一环,追踪数据的来源、处理、出处,对数据价值评估提供依据,描述源数据流程、表、报表、即席查询之间的流向关系,表与表的依赖关系、表与离线ETL任务,调度平台,计算引擎之间的依赖关系。数据仓库是构建在Hive之... ...查看全部

一文详解数据血缘的收集方法

网友分享数栈君 发表了文章 • 0 个评论 • 485 次浏览 • 2023-07-10 17:27 • 来自相关话题

在数据资产管理与数据治理领域,数据之间的血缘关系是一个绕不开的话题,数据血缘的完备程度也是评价一个企业数据中台成熟度的重要度量之一。到底什么是数据血缘,它对于数据工作者和数据使用者有哪些举足轻重的作用呢?一、从数据应用场景看什么是数据血缘1.数据问题排查与运维... ...查看全部

揭秘|来看看袋鼠云数栈内部的数据资产血缘方案设计与实现

产品交流数栈君 发表了文章 • 0 个评论 • 502 次浏览 • 2023-07-19 16:51 • 来自相关话题

数据资产现在需要接入数栈内部相关应用的时候,支持查看血缘的类型从表、离线任务增加到需要表、离线任务、实时任务、API任务、指标、标签等,需要支持数栈现有的所有应用任务,最终实现在数据资产平台查看任务的完整应用链路。虽然增加不同的任务,现阶段资产实现的血缘大体上... ...查看全部

大型集团企业数据治理实践,推进全域数据资产体系建设 | 数字化标杆

最佳实践数栈君 发表了文章 • 0 个评论 • 493 次浏览 • 2023-02-10 10:48 • 来自相关话题

数据治理是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。通过全链数据结构化,实现业务对象、业务规则、业务流程数字化,推进全链业务深度数字化,夯实数据运营底座。某大型实业集团创立于1980年,主要业务涵盖供应链运营、城市建设与运营、旅游会展、... ...查看全部

地狱三头犬,Kerberos身份验证在ChunJun中的落地实践

ChunJun小美 发表了文章 • 0 个评论 • 1016 次浏览 • 2022-12-16 10:58 • 来自相关话题

Kerberos,在古希腊神话故事中,指的是一只三头犬守护在地狱之门外,禁止任何人类闯入地狱之中。那么在现实中,Kerberos指的是什么呢?Kerberos介绍01Kerberos是什么根据百度词条释义,Kerberos是一种计算机网络授权协议,用来在非安全... ...查看全部

袋鼠云数栈技术团队获开源中国“2022年度优秀开源技术团队”

开源动态小美 发表了文章 • 0 个评论 • 380 次浏览 • 2022-12-15 15:17 • 来自相关话题

近日,在“开源中国(OSCHINA)”开展的年度评选中,袋鼠云数栈技术团队凭借在2022年间的技术分享频率及质量、运营积极性等多方面的表现,荣获“2022年度优秀开源技术团队”的称号,这也是袋鼠云数栈技术团队连续第二年获得此奖项。开源中国作为国内最大的开源技术... ...查看全部

从数据治理到数据应用,制造业企业如何突破数字化转型困境丨行业方案

最佳实践小美 发表了文章 • 0 个评论 • 381 次浏览 • 2022-12-15 15:14 • 来自相关话题

我国制造业拥有31个大类、179个中类和609个小类,是全球产业门类最齐全、产业体系最完整的制造业。作为世界工厂,中国制造业在拉动本国经济增长、促进本国就业等方面贡献卓越,更是我国民生消费的底层基础。同时,中国从原来的原料出口国,逐步转为工业品中间品、中间品等... ...查看全部

请问有福茶网的数字化转型案例吗?

回复

产品交流小美 回复了问题 • 1 人关注 • 1 个回复 • 458 次浏览 • 2022-12-14 17:55 • 来自相关话题

揭秘|来看看袋鼠云数栈内部的数据资产血缘方案设计与实现

产品交流数栈君 发表了文章 • 0 个评论 • 502 次浏览 • 2023-07-19 16:51 • 来自相关话题

数据资产现在需要接入数栈内部相关应用的时候,支持查看血缘的类型从表、离线任务增加到需要表、离线任务、实时任务、API任务、指标、标签等,需要支持数栈现有的所有应用任务,最终实现在数据资产平台查看任务的完整应用链路。虽然增加不同的任务,现阶段资产实现的血缘大体上... ...查看全部

大数据技术(入门篇)--- 使用Spring Boot 操作 CDH6.2.0 Spark

网友分享数栈君 发表了文章 • 0 个评论 • 236 次浏览 • 2023-07-18 11:56 • 来自相关话题

认识HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 中的HDFS 是CDH数据系统中的核心存储单元,也是学习其他组件的基础... ...查看全部

监管数据治理治什么?1104、EAST、客户风险系统数据简介

网友分享数栈君 发表了文章 • 0 个评论 • 1332 次浏览 • 2023-07-18 11:55 • 来自相关话题

 近年来,随着经济社会数字化发展,商业银行逐步向数字化、智能化转型,监管部门对商业银行数据报送质量也越来越重视。自2020年5月9日工行、农行、中行、建行、交行、邮储、中信、光大8家商业银行因监管标准化数据(EAST)系统数据质量及报送存在违法违规行为,被银保... ...查看全部

数据仓库基础(通俗易懂,好文)数仓概念

网友分享数栈君 发表了文章 • 0 个评论 • 423 次浏览 • 2023-07-18 11:55 • 来自相关话题

  1、数据仓库的概念 数据仓库(英语:Data Warehouse,简称数仓、DW),是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。 数... ...查看全部

failed to authenticate user [elastic] 问题解决

网友分享数栈君 发表了文章 • 0 个评论 • 721 次浏览 • 2023-07-18 11:53 • 来自相关话题

1. 问题elasticsearch 突然出现问题Authentication of [elastic] was terminated by realm [reserved] -failed to authenticate user [elastic]2. 网... ...查看全部

数据迁移工具,用这8种就够了

网友分享数栈君 发表了文章 • 0 个评论 • 225 次浏览 • 2023-07-17 14:28 • 来自相关话题

最近有些小伙伴问我,ETL数据迁移工具该用哪些。ETL(是Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业应用来说,我们经常会遇到各种数据的处理、转换、迁移的场景。今天特地给大家汇总了一些目前市面上比较常用的ETL数... ...查看全部

浅谈数据血缘的实现原理

网友分享数栈君 发表了文章 • 0 个评论 • 337 次浏览 • 2023-07-10 17:31 • 来自相关话题

本文只阐述最基本的表级别的血缘关系的实现思路,真实的血缘实现,远比文章中的场景复杂。原理一  SQL解析之正则表达式在最开始时,刚毕业的小白,如果让你做好数仓的血缘元数据时,你会怎么做?在初期的小白根本就不懂编译器、语法分析、词法分析以及AST这些概念时,想到... ...查看全部

构建数据血缘的开源方案有哪些?

网友分享数栈君 发表了文章 • 0 个评论 • 725 次浏览 • 2023-07-10 17:30 • 来自相关话题

Apache AtlasApache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。官方插件支持HBase、H... ...查看全部

解读构建数据血缘的方案

网友分享数栈君 发表了文章 • 0 个评论 • 682 次浏览 • 2023-07-10 17:30 • 来自相关话题

一、前言数据血缘是元数据管理、数据治理、数据质量的重要一环,追踪数据的来源、处理、出处,对数据价值评估提供依据,描述源数据流程、表、报表、即席查询之间的流向关系,表与表的依赖关系、表与离线ETL任务,调度平台,计算引擎之间的依赖关系。数据仓库是构建在Hive之... ...查看全部

一文详解数据血缘的收集方法

网友分享数栈君 发表了文章 • 0 个评论 • 485 次浏览 • 2023-07-10 17:27 • 来自相关话题

在数据资产管理与数据治理领域,数据之间的血缘关系是一个绕不开的话题,数据血缘的完备程度也是评价一个企业数据中台成熟度的重要度量之一。到底什么是数据血缘,它对于数据工作者和数据使用者有哪些举足轻重的作用呢?一、从数据应用场景看什么是数据血缘1.数据问题排查与运维... ...查看全部