计算引擎

计算引擎

国产大数据计算引擎优化

知识百科沸羊羊 发表了文章 • 0 个评论 • 95 次浏览 • 2023-08-04 09:55 • 来自相关话题

国产大数据计算引擎优化:突破瓶颈,提升性能引言随着数据量的爆炸性增长,大数据技术得到了广泛应用。大数据计算引擎作为大数据技术的核心组件,负责数据的处理、分析和挖掘等工作,其性能优劣直接影响到整个大数据系统的运行效率。近年来,国产大数据计算引擎取得了长足的进步,... ...查看全部

大数据治理的意思

知识百科沸羊羊 发表了文章 • 0 个评论 • 65 次浏览 • 2023-07-31 14:10 • 来自相关话题

大数据治理是指对大数据进行管理、规范和控制的体系,旨在确保大数据的质量、安全性和可靠性,并促进大数据的共享和应用。一、大数据治理的目标提高数据质量大数据治理旨在提高数据质量,确保数据的准确性、一致性和完整性。通过对数据的清洗、规范和整合,消除数据冗余和错误,提... ...查看全部

Spark:一站式的分布式计算引擎

网友分享数栈君 发表了文章 • 0 个评论 • 92 次浏览 • 2023-07-25 16:30 • 来自相关话题

1、 背景简介          Spark最初由美国加州伯克利大学(UCBerkeley)的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。2013年,Spark加入Apache孵化器项目后,开始... ...查看全部

请问一下,flink有办法让上游数据均匀分配到下游的map算子么,试了下shuffle和rebalance都会有比较严重的数据倾斜

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 65 次浏览 • 2023-07-11 14:40 • 来自相关话题

有没有flinkx 1.12.7版本的mysql的cdc写入doris的案例,感谢

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 85 次浏览 • 2023-07-11 14:40 • 来自相关话题

大佬chunjun这个任务算是成功了吗

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 70 次浏览 • 2023-07-11 14:39 • 来自相关话题

chunjun这个 host 在哪里设置呢。

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 67 次浏览 • 2023-07-11 14:39 • 来自相关话题

chunjun打不开,一直报上面的错误

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 99 次浏览 • 2023-07-11 14:38 • 来自相关话题

这个是不是只能在 standalone的模式能用?Per-job 模式能增量同步么

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 70 次浏览 • 2023-07-11 14:36 • 来自相关话题

袋鼠云数栈V6.0全新产品矩阵发布,大数据计算引擎 EasyMR 焕新升级

产品交流数栈君 发表了文章 • 0 个评论 • 137 次浏览 • 2023-04-27 11:43 • 来自相关话题

4月20日,袋鼠云成功举行了以“数实融合,韧性生长”为主题的2023春季生长大会。会上,袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级,并重点发布了... ...查看全部

袋鼠云大数据基础平台EasyMR正式上线,助力企业构建便捷、智能、高效的“数据底座”

产品交流数栈君 发表了文章 • 0 个评论 • 352 次浏览 • 2022-12-08 14:14 • 来自相关话题

7月28日,在袋鼠云2022产品发布会上,袋鼠云技术负责人思枢正式宣布旗下产品「大数据基础平台EasyMR」发布。EasyMR是袋鼠云自研的大数据基础平台,提供Hadoop、Hive、Spark、Trino、HBase、Kafka等组件,完全兼容Apache开... ...查看全部

请问一下,flink有办法让上游数据均匀分配到下游的map算子么,试了下shuffle和rebalance都会有比较严重的数据倾斜

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 65 次浏览 • 2023-07-11 14:40 • 来自相关话题

有没有flinkx 1.12.7版本的mysql的cdc写入doris的案例,感谢

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 85 次浏览 • 2023-07-11 14:40 • 来自相关话题

大佬chunjun这个任务算是成功了吗

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 70 次浏览 • 2023-07-11 14:39 • 来自相关话题

chunjun这个 host 在哪里设置呢。

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 67 次浏览 • 2023-07-11 14:39 • 来自相关话题

chunjun打不开,一直报上面的错误

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 99 次浏览 • 2023-07-11 14:38 • 来自相关话题

这个是不是只能在 standalone的模式能用?Per-job 模式能增量同步么

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 70 次浏览 • 2023-07-11 14:36 • 来自相关话题

各位大佬:数据同步出现这个异常,怎么样处理呢?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 120 次浏览 • 2023-07-11 14:31 • 来自相关话题

请问,taier进行数据同步的时候,报这个错误,但是我的服务器上的该路径下是有这个文件的,请问应该怎么解决

回复

Taier匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 72 次浏览 • 2023-07-11 13:53 • 来自相关话题

跑flink  jar出现的,是什么问题,需要配置什么吗?

回复

Taier群内解答 回复了问题 • 1 人关注 • 1 个回复 • 88 次浏览 • 2023-07-11 13:52 • 来自相关话题

国产大数据计算引擎优化

知识百科沸羊羊 发表了文章 • 0 个评论 • 95 次浏览 • 2023-08-04 09:55 • 来自相关话题

国产大数据计算引擎优化:突破瓶颈,提升性能引言随着数据量的爆炸性增长,大数据技术得到了广泛应用。大数据计算引擎作为大数据技术的核心组件,负责数据的处理、分析和挖掘等工作,其性能优劣直接影响到整个大数据系统的运行效率。近年来,国产大数据计算引擎取得了长足的进步,... ...查看全部

大数据治理的意思

知识百科沸羊羊 发表了文章 • 0 个评论 • 65 次浏览 • 2023-07-31 14:10 • 来自相关话题

大数据治理是指对大数据进行管理、规范和控制的体系,旨在确保大数据的质量、安全性和可靠性,并促进大数据的共享和应用。一、大数据治理的目标提高数据质量大数据治理旨在提高数据质量,确保数据的准确性、一致性和完整性。通过对数据的清洗、规范和整合,消除数据冗余和错误,提... ...查看全部

Spark:一站式的分布式计算引擎

网友分享数栈君 发表了文章 • 0 个评论 • 92 次浏览 • 2023-07-25 16:30 • 来自相关话题

1、 背景简介          Spark最初由美国加州伯克利大学(UCBerkeley)的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。2013年,Spark加入Apache孵化器项目后,开始... ...查看全部

大数据平台计算引擎

知识百科沸羊羊 发表了文章 • 0 个评论 • 121 次浏览 • 2023-05-24 14:48 • 来自相关话题

随着互联网的普及和发展,大数据已经成为企业竞争的重要资产之一。在这个数据为王的时代,大数据平台计算引擎应运而生,成为了企业信息化建设的不可或缺的力量。本文将围绕大数据平台计算引擎展开,介绍其基本概念、特点和应用场景。一、大数据平台计算引擎的基本概念大数据平台计... ...查看全部

袋鼠云数栈V6.0全新产品矩阵发布,大数据计算引擎 EasyMR 焕新升级

产品交流数栈君 发表了文章 • 0 个评论 • 137 次浏览 • 2023-04-27 11:43 • 来自相关话题

4月20日,袋鼠云成功举行了以“数实融合,韧性生长”为主题的2023春季生长大会。会上,袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级,并重点发布了... ...查看全部

如何最好的实现数据治理?数据治理的有效手段介绍

网友分享数栈君 发表了文章 • 0 个评论 • 110 次浏览 • 2023-04-26 11:38 • 来自相关话题

据研究表明,在数据分析的整个过程中,数据准备会占大约80%的时间。怎样把数据收集起来,并确保数据可直接用于分析展示,是最麻烦、最耗时的事情,这在企业级的数据分析中也被称为是“最脏最累”的活。倘若数据未处理妥当,炫酷好看的可视化展示毫无实际意义。但是数据准备又非... ...查看全部

大数据平台存储计算分离

知识百科沸羊羊 发表了文章 • 0 个评论 • 67 次浏览 • 2023-04-25 09:47 • 来自相关话题

实时流计算引擎 企业

知识百科沸羊羊 发表了文章 • 0 个评论 • 66 次浏览 • 2023-03-31 14:05 • 来自相关话题

实时流计算引擎 服务

知识百科沸羊羊 发表了文章 • 0 个评论 • 85 次浏览 • 2023-03-31 11:44 • 来自相关话题

承载万亿级数据的数据中台是如何建设的?

网友分享数栈君 发表了文章 • 0 个评论 • 114 次浏览 • 2023-03-15 10:04 • 来自相关话题

 Hadoop技术生态起源1.Google三篇论文揭开Hadoop序幕Google的三篇论文 GFS(2003)、MapReduce(2004)、Bigtable(2006)为大数据技术奠定了理论基础。随后,基于这三篇论文的开源实现Hadoop被各个互联网公司... ...查看全部