计算引擎

国产大数据计算引擎优化

知识百科 • 沸羊羊发表了文章 • 0 个评论 • 95 次浏览 • 2023-08-04 09:55 • 来自相关话题

国产大数据计算引擎优化：突破瓶颈，提升性能引言随着数据量的爆炸性增长，大数据技术得到了广泛应用。大数据计算引擎作为大数据技术的核心组件，负责数据的处理、分析和挖掘等工作，其性能优劣直接影响到整个大数据系统的运行效率。近年来，国产大数据计算引擎取得了长足的进步，... ...查看全部

大数据治理的意思

知识百科 • 沸羊羊发表了文章 • 0 个评论 • 65 次浏览 • 2023-07-31 14:10 • 来自相关话题

大数据治理是指对大数据进行管理、规范和控制的体系，旨在确保大数据的质量、安全性和可靠性，并促进大数据的共享和应用。一、大数据治理的目标提高数据质量大数据治理旨在提高数据质量，确保数据的准确性、一致性和完整性。通过对数据的清洗、规范和整合，消除数据冗余和错误，提... ...查看全部

Spark：一站式的分布式计算引擎

网友分享 • 数栈君发表了文章 • 0 个评论 • 92 次浏览 • 2023-07-25 16:30 • 来自相关话题

1、背景简介 Spark最初由美国加州伯克利大学（UCBerkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。2013年，Spark加入Apache孵化器项目后，开始... ...查看全部

请问一下，flink有办法让上游数据均匀分配到下游的map算子么，试了下shuffle和rebalance都会有比较严重的数据倾斜

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 65 次浏览 • 2023-07-11 14:40 • 来自相关话题

有没有flinkx 1.12.7版本的mysql的cdc写入doris的案例,感谢

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 85 次浏览 • 2023-07-11 14:40 • 来自相关话题

你好，目前我遇到一个问题，就是我用mysqlcdc进行实时采集时，如果任务停止后，在原表手动插入一条数据再启动原任务，以后就再也不会有数据采进来，也不会报错，有什么办法可以解决吗？

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 74 次浏览 • 2023-07-11 14:40 • 来自相关话题

大佬chunjun这个任务算是成功了吗

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 70 次浏览 • 2023-07-11 14:39 • 来自相关话题

chunjun这个 host 在哪里设置呢。

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 67 次浏览 • 2023-07-11 14:39 • 来自相关话题

chunjun打不开，一直报上面的错误

贡献

ChunJun • 群内解答回复了问题 • 1 人关注 • 1 个回复 • 99 次浏览 • 2023-07-11 14:38 • 来自相关话题

这个是不是只能在 standalone的模式能用？Per-job 模式能增量同步么

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 70 次浏览 • 2023-07-11 14:36 • 来自相关话题

请问一下，flink有办法让上游数据均匀分配到下游的map算子么，试了下shuffle和rebalance都会有比较严重的数据倾斜

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 65 次浏览 • 2023-07-11 14:40 • 来自相关话题

有没有flinkx 1.12.7版本的mysql的cdc写入doris的案例,感谢

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 85 次浏览 • 2023-07-11 14:40 • 来自相关话题

你好，目前我遇到一个问题，就是我用mysqlcdc进行实时采集时，如果任务停止后，在原表手动插入一条数据再启动原任务，以后就再也不会有数据采进来，也不会报错，有什么办法可以解决吗？

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 74 次浏览 • 2023-07-11 14:40 • 来自相关话题

大佬chunjun这个任务算是成功了吗

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 70 次浏览 • 2023-07-11 14:39 • 来自相关话题

chunjun这个 host 在哪里设置呢。

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 67 次浏览 • 2023-07-11 14:39 • 来自相关话题

chunjun打不开，一直报上面的错误

ChunJun • 群内解答回复了问题 • 1 人关注 • 1 个回复 • 99 次浏览 • 2023-07-11 14:38 • 来自相关话题

这个是不是只能在 standalone的模式能用？Per-job 模式能增量同步么

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 70 次浏览 • 2023-07-11 14:36 • 来自相关话题

各位大佬：数据同步出现这个异常，怎么样处理呢？

ChunJun • 群内解答回复了问题 • 1 人关注 • 2 个回复 • 120 次浏览 • 2023-07-11 14:31 • 来自相关话题

请问，taier进行数据同步的时候，报这个错误，但是我的服务器上的该路径下是有这个文件的，请问应该怎么解决

Taier • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 72 次浏览 • 2023-07-11 13:53 • 来自相关话题

跑flink jar出现的，是什么问题，需要配置什么吗？

Taier • 群内解答回复了问题 • 1 人关注 • 1 个回复 • 88 次浏览 • 2023-07-11 13:52 • 来自相关话题

国产大数据计算引擎优化

知识百科 • 沸羊羊发表了文章 • 0 个评论 • 95 次浏览 • 2023-08-04 09:55 • 来自相关话题

大数据治理的意思

知识百科 • 沸羊羊发表了文章 • 0 个评论 • 65 次浏览 • 2023-07-31 14:10 • 来自相关话题

Spark：一站式的分布式计算引擎

网友分享 • 数栈君发表了文章 • 0 个评论 • 92 次浏览 • 2023-07-25 16:30 • 来自相关话题

大数据平台计算引擎

知识百科 • 沸羊羊发表了文章 • 0 个评论 • 121 次浏览 • 2023-05-24 14:48 • 来自相关话题

随着互联网的普及和发展，大数据已经成为企业竞争的重要资产之一。在这个数据为王的时代，大数据平台计算引擎应运而生，成为了企业信息化建设的不可或缺的力量。本文将围绕大数据平台计算引擎展开，介绍其基本概念、特点和应用场景。一、大数据平台计算引擎的基本概念大数据平台计... ...查看全部

袋鼠云数栈V6.0全新产品矩阵发布，大数据计算引擎 EasyMR 焕新升级

产品交流 • 数栈君发表了文章 • 0 个评论 • 137 次浏览 • 2023-04-27 11:43 • 来自相关话题

4月20日，袋鼠云成功举行了以“数实融合，韧性生长”为主题的2023春季生长大会。会上，袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级，并重点发布了... ...查看全部

如何最好的实现数据治理？数据治理的有效手段介绍

网友分享 • 数栈君发表了文章 • 0 个评论 • 110 次浏览 • 2023-04-26 11:38 • 来自相关话题

据研究表明，在数据分析的整个过程中，数据准备会占大约80%的时间。怎样把数据收集起来，并确保数据可直接用于分析展示，是最麻烦、最耗时的事情，这在企业级的数据分析中也被称为是“最脏最累”的活。倘若数据未处理妥当，炫酷好看的可视化展示毫无实际意义。但是数据准备又非... ...查看全部

大数据平台存储计算分离

知识百科 • 沸羊羊发表了文章 • 0 个评论 • 67 次浏览 • 2023-04-25 09:47 • 来自相关话题

实时流计算引擎企业

知识百科 • 沸羊羊发表了文章 • 0 个评论 • 66 次浏览 • 2023-03-31 14:05 • 来自相关话题

实时流计算引擎服务

知识百科 • 沸羊羊发表了文章 • 0 个评论 • 85 次浏览 • 2023-03-31 11:44 • 来自相关话题

承载万亿级数据的数据中台是如何建设的？

网友分享 • 数栈君发表了文章 • 0 个评论 • 114 次浏览 • 2023-03-15 10:04 • 来自相关话题

Hadoop技术生态起源1.Google三篇论文揭开Hadoop序幕Google的三篇论文 GFS(2003)、MapReduce(2004)、Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司... ...查看全部

更多...

国产大数据计算引擎优化

大数据治理的意思

Spark：一站式的分布式计算引擎

请问一下，flink有办法让上游数据均匀分配到下游的map算子么，试了下shuffle和rebalance都会有比较严重的数据倾斜

有没有flinkx 1.12.7版本的mysql的cdc写入doris的案例,感谢

你好，目前我遇到一个问题，就是我用mysqlcdc进行实时采集时，如果任务停止后，在原表手动插入一条数据再启动原任务，以后就再也不会有数据采进来，也不会报错，有什么办法可以解决吗？

大佬chunjun这个任务算是成功了吗

chunjun这个 host 在哪里设置呢。

chunjun打不开，一直报上面的错误

这个是不是只能在 standalone的模式能用？Per-job 模式能增量同步么

请问一下，flink有办法让上游数据均匀分配到下游的map算子么，试了下shuffle和rebalance都会有比较严重的数据倾斜

有没有flinkx 1.12.7版本的mysql的cdc写入doris的案例,感谢

你好，目前我遇到一个问题，就是我用mysqlcdc进行实时采集时，如果任务停止后，在原表手动插入一条数据再启动原任务，以后就再也不会有数据采进来，也不会报错，有什么办法可以解决吗？

大佬chunjun这个任务算是成功了吗

chunjun这个 host 在哪里设置呢。

chunjun打不开，一直报上面的错误

这个是不是只能在 standalone的模式能用？Per-job 模式能增量同步么

各位大佬：数据同步出现这个异常，怎么样处理呢？

请问，taier进行数据同步的时候，报这个错误，但是我的服务器上的该路径下是有这个文件的，请问应该怎么解决

跑flink jar出现的，是什么问题，需要配置什么吗？

国产大数据计算引擎优化

大数据治理的意思

Spark：一站式的分布式计算引擎

大数据平台计算引擎

袋鼠云数栈V6.0全新产品矩阵发布，大数据计算引擎 EasyMR 焕新升级

如何最好的实现数据治理？数据治理的有效手段介绍

大数据平台存储计算分离

实时流计算引擎企业

实时流计算引擎服务

承载万亿级数据的数据中台是如何建设的？

话题描述

相关话题

1 人关注该话题