数据资产平台新增功能更新1.监控数据变更 新增功能说明 背景：客户希望某些场景发生数据变更的时候，支持对比前后不同时间的数据，比如需要对比昨天和今天不同分区的数据，此场景可以通过对接控制台自定义参数来满足。新增功能说明：数据质量支持对接控制台自定义参数，涉...
数栈君 发表于2023-07-13 10:30
431
0
实时开发平台新增功能更新1.新增【运维总览】模块 新增功能说明 背景：之前实时平台的运维都是针对单任务的，缺乏全局性的运维统计和分析能力，并且缺乏对运行中任务的监控分析。因为实时任务一旦运行失败，就会立即对线上数据服务产生影响，我们希望能在任务失败之前，就...
数栈君 发表于2023-07-13 10:28
407
0
功能优化1.运行任务优化 体验优化说明 背景：在「数据开发」菜单中临时运行任务后，切换到其他菜单，运行的任务将会停止。体验优化说明：运行任务时切换菜单，不会停止正在执行的任务。（体验优化示意图）2.表生命周期逻辑优化 体验优化说明 背景：如果客户有大量...
数栈君 发表于2023-07-13 10:26
369
0
离线开发平台新增功能更新1.数据源 新增功能说明 背景：目前在数据源页面中查看 meta 数据源的 schema，只能在 jdbc url 中查看，对于用户来说不方便。新增功能说明：数据源页面展示当前项目的schema名称，以及能做meta schema的...
数栈君 发表于2023-07-13 10:23
612
0
2023年已过半，袋鼠云开发团队和产品团队对数栈产品本身以及客户反馈的问题和痛点进行了持续性的更新和优化，包括对 EasyMR 监控告警功能的更新，以及对离线开发平台表生命周期逻辑的优化等，力求满足不同行业用户的更多需求，为用户带来极致的产品使用体验。以下为袋...
数栈君 发表于2023-07-13 10:18
476
0
本文只阐述最基本的表级别的血缘关系的实现思路，真实的血缘实现，远比文章中的场景复杂。原理一 SQL解析之正则表达式在最开始时，刚毕业的小白，如果让你做好数仓的血缘元数据时，你会怎么做？在初期的小白根本就不懂编译器、语法分析、词法分析以及AST这些概念时，想到...
数栈君 发表于2023-07-10 17:31
363
0
Apache AtlasApache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。官方插件支持HBase、H...
数栈君 发表于2023-07-10 17:30
752
0
一、前言数据血缘是元数据管理、数据治理、数据质量的重要一环，追踪数据的来源、处理、出处，对数据价值评估提供依据，描述源数据流程、表、报表、即席查询之间的流向关系，表与表的依赖关系、表与离线ETL任务，调度平台，计算引擎之间的依赖关系。数据仓库是构建在Hive之...
数栈君 发表于2023-07-10 17:30
721
0
在数据资产管理与数据治理领域，数据之间的血缘关系是一个绕不开的话题，数据血缘的完备程度也是评价一个企业数据中台成熟度的重要度量之一。到底什么是数据血缘，它对于数据工作者和数据使用者有哪些举足轻重的作用呢？一、从数据应用场景看什么是数据血缘1.数据问题排查与运维...
数栈君 发表于2023-07-10 17:27
516
0
血缘关系在人类社会中扮演着重要角色。大多数家庭是基于血缘关系形成的，而家庭作为社会的基本单元，对维系社会稳定发挥着重要关系。其实，数据之间也存在类似的血缘关系。数据从产生、加工、流转，一直到消亡，每个环节必然存在一定的联系，这种联系就是数据的血缘关系。数据血缘...
数栈君 发表于2023-07-10 17:26
264
0
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
