大数据技术

大数据技术

数据治理体系

网友分享数栈君 发表了文章 • 0 个评论 • 7 次浏览 • 1 天前 • 来自相关话题

数据治理可以有效保障数据建设过程在一个合理高效的监管体系下进行,最终提供高质量、安全、流程可追溯的业务数据。企业数据治理体系包括数据质量管理、元数据管理、主数据管理、数据资产管理、数据安全及数据标准等内容。1、数据质量一般采用业内常用的标准来衡量数据质量的好坏... ...查看全部

如何实现持续、主动、长效的数据治理?主动元数据或是最佳答案

网友分享数栈君 发表了文章 • 0 个评论 • 17 次浏览 • 1 天前 • 来自相关话题

元数据是数据治理的关键要素。长久以来,企业的元数据采集、管理与服务停留在“被动模式”,管理范围以表为主,采集与更新方式由人工完成,数据解析方式单一且无法保证准确率,更缺乏智能挖掘能力,应用场景有限。基于被动元数据的运动式数据治理历时久、人力消耗大且效果难以长效... ...查看全部

数据生命周期规划

知识百科沸羊羊 发表了文章 • 0 个评论 • 18 次浏览 • 3 天前 • 来自相关话题

DataOps:数据中台的必备底座(上)

网友分享沸羊羊 发表了文章 • 0 个评论 • 26 次浏览 • 3 天前 • 来自相关话题

前言数据中台的崛起代表了企业数字化转型从流程驱动走向数据驱动,从数字化走向智能化。而DataOps则是数据中台区别于传统企业数据架构的核心差异,是建设数据中台的必备底座能力。要上数据中台,DataOps是核心能力,那么什么是DataOps,为什么企业需要Dat... ...查看全部

袋鼠云邀请您共同参与浙江大学AI通识课程,一起探索未来!

产品交流数栈君 发表了文章 • 0 个评论 • 35 次浏览 • 6 天前 • 来自相关话题

《数据资产管理白皮书》下载地址:https://www.dtstack.com/resources/1073/?src=bbs《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057/?src=bbs《数据治... ...查看全部

乘势而上,跃起新章丨袋鼠云搬新家啦

活动动态数栈君 发表了文章 • 0 个评论 • 43 次浏览 • 6 天前 • 来自相关话题

在2024年的最后一个月袋鼠云即将成立九周年之际袋鼠云办了一件大事我们搬入了新家——阿里巴巴数字生态创新园我们希望在这汇聚创新与智慧的地方与大家共同探索企业数字化转型的无限可能乘Data+AI之势,跃袋鼠云新章🏢杭州市余杭区五常街道阿里巴巴数字生态创新园4号楼... ...查看全部

Yarn资源调度资源监控器

知识百科沸羊羊 发表了文章 • 0 个评论 • 24 次浏览 • 6 天前 • 来自相关话题

Yarn资源调度资源调度器

知识百科沸羊羊 发表了文章 • 0 个评论 • 21 次浏览 • 6 天前 • 来自相关话题

引言Apache Hadoop 是一个广泛使用的分布式计算框架,用于处理和存储大规模数据集。随着大数据应用的不断发展,Hadoop 的资源管理成为了一个重要的研究领域。YARN(Yet Another Resource Negotiator)是 Hadoop ... ...查看全部

Yarn资源调度资源预测

知识百科沸羊羊 发表了文章 • 0 个评论 • 19 次浏览 • 6 天前 • 来自相关话题

Yarn资源调度资源利用率

知识百科沸羊羊 发表了文章 • 0 个评论 • 16 次浏览 • 6 天前 • 来自相关话题

袋鼠云邀请您共同参与浙江大学AI通识课程,一起探索未来!

产品交流数栈君 发表了文章 • 0 个评论 • 35 次浏览 • 6 天前 • 来自相关话题

《数据资产管理白皮书》下载地址:https://www.dtstack.com/resources/1073/?src=bbs《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057/?src=bbs《数据治... ...查看全部

乘势而上,跃起新章丨袋鼠云搬新家啦

活动动态数栈君 发表了文章 • 0 个评论 • 43 次浏览 • 6 天前 • 来自相关话题

在2024年的最后一个月袋鼠云即将成立九周年之际袋鼠云办了一件大事我们搬入了新家——阿里巴巴数字生态创新园我们希望在这汇聚创新与智慧的地方与大家共同探索企业数字化转型的无限可能乘Data+AI之势,跃袋鼠云新章🏢杭州市余杭区五常街道阿里巴巴数字生态创新园4号楼... ...查看全部

一文带你了解,三步进行系统化标签管理 | 袋鼠云标签洞察平台TagInsight

产品交流数栈君 发表了文章 • 0 个评论 • 57 次浏览 • 2024-11-25 14:50 • 来自相关话题

在当今数据驱动的时代,企业需要给各类用户、商品、渠道等创建日益丰富、完善的标签,用以对其做全面的刻画与分析洞察。这个过程中,有效地进行标签管理成为了企业和组织不可或缺的能力。标签管理不仅能够帮助我们更好地组织和理解海量信息,还能够提高数据的可发现性和利用率,从... ...查看全部

央国企数据资产消费实践,发掘数据要素价值

产品交流数栈君 发表了文章 • 0 个评论 • 235 次浏览 • 2024-11-15 17:17 • 来自相关话题

随着数字化转型不断深化,某集团企业数据应用方面需求不断扩展。然而数据应用方面的数据价值不凸显、数据标准不统一、数据质量不可控、数据使用不合规等问题逐渐显现,集团缺乏系统的数字资产集成、管理等能力。集团希望打造全司统一、覆盖公司业务全流程的经营管理、运营管理以及... ...查看全部

优化数据处理效率,解读 EasyMR 大数据组件升级

产品交流数栈君 发表了文章 • 0 个评论 • 302 次浏览 • 2024-07-31 15:03 • 来自相关话题

EasyMR 作为袋鼠云基于云原生技术和 Hadoop、Hive、Spark、Flink、Hbase、Presto 等开源大数据组件构建的弹性计算引擎。此前,我们已就其展开了多方位、多角度的详尽介绍。而此次,我们成功接入了大数据组件的升级和回滚功能,能够借助 ... ...查看全部

逻辑升级,深度解析如何实现业务中的且或组件

产品交流沸羊羊 发表了文章 • 0 个评论 • 435 次浏览 • 2024-05-17 11:28 • 来自相关话题

在业务实现的过程中,时常会出现且或关系逻辑的拼接。逻辑运算的组合使用,是实现复杂业务规则和决策支持系统的关键技术。目前袋鼠云的指标管理平台、客户数据洞察平台、数据资产平台都有在使用。并且,且或组件已经在 RC 5.0 中添加到组件库,企业现在可以更加灵活地构建... ...查看全部

Spark 在袋鼠云数栈的深度探索与实践

产品交流沸羊羊 发表了文章 • 0 个评论 • 297 次浏览 • 2024-04-26 14:34 • 来自相关话题

Spark 是一个快速、通用、可扩展的大数据计算引擎,具有高性能、易用、容错、可以与 Hadoop 生态无缝集成、社区活跃度高等优点。在实际使用中,具有广泛的应用场景:· 数据清洗和预处理:在大数据分析场景下,数据通常需要进行清洗和预处理操作以确保数据质量和一... ...查看全部

从5分钟到60秒,袋鼠云数栈在热重启技术上的提效探索之路

技术共享数栈君 发表了文章 • 0 个评论 • 445 次浏览 • 2023-03-09 13:53 • 来自相关话题

更好地提高效率一直以来是袋鼠云数栈产品的主要目标之一。当前数栈客户的实时任务都是基于 Per-Job 模式运行的,客户在进行一些任务参数的修改之后,只能先取消当前任务,再选择 CheckPoint 恢复或者重新运行,整个过程需要3-5分钟,比较浪费时间。为了达... ...查看全部

前端资源静默刷新报错无解?不如用这个方案来避坑

技术共享数栈君 发表了文章 • 0 个评论 • 1077 次浏览 • 2021-12-30 16:09 • 来自相关话题

导读:各位栈宝宝们,在进行前端资源静默刷新时候,是不是经常出了问题找不到原因?即使找到是缓存的问题,也不知在不依赖赖后端服务,也不使用 WebSocket / Event-Source下如何完美解决?不要头秃?‍?,轻量级解决方案这就送到!你可以收获???▫ ... ...查看全部

大佬们 flink 集群模式下 只能用hdfs来存储Savepoint吗

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 503 次浏览 • 2023-03-09 14:53 • 来自相关话题

麻烦问下这个参数对所有的连接器都支持吗 即所有连接器都支持batch和stream两种同步方式吗

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 415 次浏览 • 2023-03-09 14:51 • 来自相关话题

数据治理体系

网友分享数栈君 发表了文章 • 0 个评论 • 7 次浏览 • 1 天前 • 来自相关话题

数据治理可以有效保障数据建设过程在一个合理高效的监管体系下进行,最终提供高质量、安全、流程可追溯的业务数据。企业数据治理体系包括数据质量管理、元数据管理、主数据管理、数据资产管理、数据安全及数据标准等内容。1、数据质量一般采用业内常用的标准来衡量数据质量的好坏... ...查看全部

如何实现持续、主动、长效的数据治理?主动元数据或是最佳答案

网友分享数栈君 发表了文章 • 0 个评论 • 17 次浏览 • 1 天前 • 来自相关话题

元数据是数据治理的关键要素。长久以来,企业的元数据采集、管理与服务停留在“被动模式”,管理范围以表为主,采集与更新方式由人工完成,数据解析方式单一且无法保证准确率,更缺乏智能挖掘能力,应用场景有限。基于被动元数据的运动式数据治理历时久、人力消耗大且效果难以长效... ...查看全部

数据生命周期规划

知识百科沸羊羊 发表了文章 • 0 个评论 • 18 次浏览 • 3 天前 • 来自相关话题

DataOps:数据中台的必备底座(上)

网友分享沸羊羊 发表了文章 • 0 个评论 • 26 次浏览 • 3 天前 • 来自相关话题

前言数据中台的崛起代表了企业数字化转型从流程驱动走向数据驱动,从数字化走向智能化。而DataOps则是数据中台区别于传统企业数据架构的核心差异,是建设数据中台的必备底座能力。要上数据中台,DataOps是核心能力,那么什么是DataOps,为什么企业需要Dat... ...查看全部

袋鼠云邀请您共同参与浙江大学AI通识课程,一起探索未来!

产品交流数栈君 发表了文章 • 0 个评论 • 35 次浏览 • 6 天前 • 来自相关话题

《数据资产管理白皮书》下载地址:https://www.dtstack.com/resources/1073/?src=bbs《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057/?src=bbs《数据治... ...查看全部

乘势而上,跃起新章丨袋鼠云搬新家啦

活动动态数栈君 发表了文章 • 0 个评论 • 43 次浏览 • 6 天前 • 来自相关话题

在2024年的最后一个月袋鼠云即将成立九周年之际袋鼠云办了一件大事我们搬入了新家——阿里巴巴数字生态创新园我们希望在这汇聚创新与智慧的地方与大家共同探索企业数字化转型的无限可能乘Data+AI之势,跃袋鼠云新章🏢杭州市余杭区五常街道阿里巴巴数字生态创新园4号楼... ...查看全部

Yarn资源调度资源监控器

知识百科沸羊羊 发表了文章 • 0 个评论 • 24 次浏览 • 6 天前 • 来自相关话题

Yarn资源调度资源调度器

知识百科沸羊羊 发表了文章 • 0 个评论 • 21 次浏览 • 6 天前 • 来自相关话题

引言Apache Hadoop 是一个广泛使用的分布式计算框架,用于处理和存储大规模数据集。随着大数据应用的不断发展,Hadoop 的资源管理成为了一个重要的研究领域。YARN(Yet Another Resource Negotiator)是 Hadoop ... ...查看全部

Yarn资源调度资源预测

知识百科沸羊羊 发表了文章 • 0 个评论 • 19 次浏览 • 6 天前 • 来自相关话题

Yarn资源调度资源利用率

知识百科沸羊羊 发表了文章 • 0 个评论 • 16 次浏览 • 6 天前 • 来自相关话题