大数据调度

大数据调度

哪位大神能帮忙解答一下Taier的这个问题吗？

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 60 次浏览 • 2023-08-04 11:39 • 来自相关话题

一文详解大数据处理都分为哪几步？

网友分享 • 数栈君 发表了文章 • 0 个评论 • 83 次浏览 • 2023-07-25 16:32 • 来自相关话题

数据的处理过程一般包括采集、传输、清洗、存储、计算、数据运用等环节。大体流程如下：这是最基本的流程，当然实际项目中会根据不同项目情况下中间的一些顺序可能会有些调整。数据采集：这是第一步，主要是对各种类型的数据通过各种方法进行采集，比如日志数据、文本文件、音视频... ...查看全部

大数据在技术架构上所带来的挑战

知识百科 • 数栈君 发表了文章 • 0 个评论 • 100 次浏览 • 2023-07-25 16:32 • 来自相关话题

大数据在技术架构上所面临的挑战随着数据的快速增长，大数据已经成为企业不可或缺的资源之一。然而，随着大数据的复杂性和规模的不断扩大，企业在技术架构上面临着越来越多的挑战。本文将探讨大数据在技术架构上所面临的挑战，以及如何应对这些挑战。一、大数据技术架构的挑战数据... ...查看全部

请问一下，flink有办法让上游数据均匀分配到下游的map算子么，试了下shuffle和rebalance都会有比较严重的数据倾斜

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 60 次浏览 • 2023-07-11 14:40 • 来自相关话题

有没有flinkx 1.12.7版本的mysql的cdc写入doris的案例,感谢

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 79 次浏览 • 2023-07-11 14:40 • 来自相关话题

你好，目前我遇到一个问题，就是我用mysqlcdc进行实时采集时，如果任务停止后，在原表手动插入一条数据再启动原任务，以后就再也不会有数据采进来，也不会报错，有什么办法可以解决吗？

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 69 次浏览 • 2023-07-11 14:40 • 来自相关话题

大佬chunjun这个任务算是成功了吗

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 63 次浏览 • 2023-07-11 14:39 • 来自相关话题

chunjun这个 host 在哪里设置呢。

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 62 次浏览 • 2023-07-11 14:39 • 来自相关话题

chunjun打不开，一直报上面的错误

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 92 次浏览 • 2023-07-11 14:38 • 来自相关话题

这个是不是只能在 standalone的模式能用？Per-job 模式能增量同步么

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 63 次浏览 • 2023-07-11 14:36 • 来自相关话题

更多...
条新动态, 点击查看
匿名用户

群内解答 回答了问题 • 2023-03-20 11:46 • 1 个回复 不感兴趣

麻烦问下最新的chunjun代码里没有chunjun通用配置详解这个文件了，这块文档是废弃了吗

这部分官网上是有的，你再仔细找找想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：https://www.dtstack.com/?src=bbs同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」，交流最新... 显示全部 »
这部分官网上是有的，你再仔细找找想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：https://www.dtstack.com/?src=bbs同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」，交流最新开源技术信息，群号码：30537511，项目地址：https://github.com/DTStack/chunjun  
0 0
收藏
分享
没有更多了...

哪位大神能帮忙解答一下Taier的这个问题吗？

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 60 次浏览 • 2023-08-04 11:39 • 来自相关话题

请问一下，flink有办法让上游数据均匀分配到下游的map算子么，试了下shuffle和rebalance都会有比较严重的数据倾斜

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 60 次浏览 • 2023-07-11 14:40 • 来自相关话题

有没有flinkx 1.12.7版本的mysql的cdc写入doris的案例,感谢

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 79 次浏览 • 2023-07-11 14:40 • 来自相关话题

你好，目前我遇到一个问题，就是我用mysqlcdc进行实时采集时，如果任务停止后，在原表手动插入一条数据再启动原任务，以后就再也不会有数据采进来，也不会报错，有什么办法可以解决吗？

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 69 次浏览 • 2023-07-11 14:40 • 来自相关话题

大佬chunjun这个任务算是成功了吗

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 63 次浏览 • 2023-07-11 14:39 • 来自相关话题

chunjun这个 host 在哪里设置呢。

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 62 次浏览 • 2023-07-11 14:39 • 来自相关话题

chunjun打不开，一直报上面的错误

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 92 次浏览 • 2023-07-11 14:38 • 来自相关话题

这个是不是只能在 standalone的模式能用？Per-job 模式能增量同步么

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 63 次浏览 • 2023-07-11 14:36 • 来自相关话题

请问，taier进行数据同步的时候，报这个错误，但是我的服务器上的该路径下是有这个文件的，请问应该怎么解决

回复

Taier • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 67 次浏览 • 2023-07-11 13:53 • 来自相关话题

跑flink  jar出现的，是什么问题，需要配置什么吗？

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 85 次浏览 • 2023-07-11 13:52 • 来自相关话题

没有更多了...

一文详解大数据处理都分为哪几步？

网友分享 • 数栈君 发表了文章 • 0 个评论 • 83 次浏览 • 2023-07-25 16:32 • 来自相关话题

数据的处理过程一般包括采集、传输、清洗、存储、计算、数据运用等环节。大体流程如下：这是最基本的流程，当然实际项目中会根据不同项目情况下中间的一些顺序可能会有些调整。数据采集：这是第一步，主要是对各种类型的数据通过各种方法进行采集，比如日志数据、文本文件、音视频... ...查看全部

大数据在技术架构上所带来的挑战

知识百科 • 数栈君 发表了文章 • 0 个评论 • 100 次浏览 • 2023-07-25 16:32 • 来自相关话题

大数据在技术架构上所面临的挑战随着数据的快速增长，大数据已经成为企业不可或缺的资源之一。然而，随着大数据的复杂性和规模的不断扩大，企业在技术架构上面临着越来越多的挑战。本文将探讨大数据在技术架构上所面临的挑战，以及如何应对这些挑战。一、大数据技术架构的挑战数据... ...查看全部

卡尔曼滤波

网友分享 • 数栈君 发表了文章 • 0 个评论 • 115 次浏览 • 2023-06-06 11:14 • 来自相关话题

卡尔曼滤波顾名思义是一种滤波方法，可以用于线性滤波和非线性滤波。卡尔曼滤波分为很多类，主要应用于线性滤波的是一般卡尔曼滤波，应用于非线性的有延申卡尔曼滤波（Extended Kalman Filter） 、无损卡尔曼滤波（Unscented Kalman Fi... ...查看全部

大数据平台怎么收费

知识百科 • 沸羊羊 发表了文章 • 0 个评论 • 122 次浏览 • 2023-06-02 14:33 • 来自相关话题

收费是一个重要的考虑因素，特别是对于那些需要大量数据存储和分析的公司而言。因此，大数据平台的收费模式是关键因素。大多数大数据平台按照使用的资源（如存储空间、处理器时间等）收取费用。这种收费模式确保了用户只在平台上使用了所需的资源，并按照实际使用的量支付费用。另... ...查看全部

从数据到数据资产究竟有多长的路？

网友分享 • 数栈君 发表了文章 • 0 个评论 • 96 次浏览 • 2023-04-23 10:42 • 来自相关话题

数字化时代，数据正在以超凡的速度渗透到每一个行业和业务职能领域，成为了与土地、劳动力、资本、技术并列的五大生产要素之一。“数据即资产”已被企业广泛认可。然而，企业仍然存在着大量沉睡数据、数据孤岛严重、数据质量堪忧、数据安全隐患等诸多问题，这些问题不解决，数据就... ...查看全部

解构数据时代，湖仓一体渐成风潮

网友分享 • 数栈君 发表了文章 • 0 个评论 • 95 次浏览 • 2023-04-18 18:55 • 来自相关话题

放眼上个世纪，数据仓库已经能够解决绝大多数的数据问题。彼时，数据二字还代表着BI、仪表、趋势图、报表等结构化数据，这些数据大多来自企业内部和业务系统，极少来自外部。而结构化数据在分析时难度较小，数据仓库就可以满足企业需求。大约十年前，音频、视频、文本等非结构化... ...查看全部

杭州师范大学实践教育基地落地袋鼠云，携手为教育创新探索新途径

公司动态 • 数栈君 发表了文章 • 0 个评论 • 103 次浏览 • 2023-04-18 18:53 • 来自相关话题

近年来，随着数字化转型浪潮的到来，各行各业都在积极探索数字化时代下的新可能。在此背景下，杭州师范大学与袋鼠云携手合作，共同打造实践教育基地，为数字化时代下的教育创新探索新途径。近日，在袋鼠云总部，杭州师范大学与袋鼠云举行了实践教育基地签约仪式。杭州师范大学经济... ...查看全部

数据仓库（一）：基础架构

网友分享 • 数栈君 发表了文章 • 0 个评论 • 128 次浏览 • 2023-03-15 17:54 • 来自相关话题

01. 架构演进离线数据仓库到实时数据仓库，从lambda架构到kappa架构、再到混合架构。02. 逻辑分层数仓分层，一般按ods->dw->dm整体架构。不同的企业，不同的业务场景，有衍生出不同的分层架构模式。例如经典四层架构：ods->... ...查看全部
没有更多了...
热门产品
数雁EasyDigit 数栈DTinsight 数驹DTengine 易知微EasyV
解决方案
政务解决方案 港口解决方案 基金解决方案 制造解决方案 保险解决方案 高校解决方案 证券解决方案 文旅解决方案 银行解决方案 大宗商品解决方案
快速入口
合作与生态 开源社区 Github
联系我们

合作咨询 market@dtstack.com

联系电话 400-002-1024

总部地址 杭州市余杭区余杭塘路2301号海智中心8号楼

袋鼠云官方订阅号
袋鼠云官方订阅号
热门搜索：
数据中台 企业数据中台 金融数据中台 离线数据中台 数据中台公司 一站式数据中台 数据中台开发 一站式数据开发 数据中台解决方案 大数据分析 数据分析平台 新基建 大数据开发 大数据开发平台 数据化转型解决方案 信创 数据可视化 数字孪生 可视化大屏 数字化转型

友情链接： 易知微 云掣

@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号