flink

flink

为什么选择 Flink 做实时处理

技术共享数栈君 发表了文章 • 0 个评论 • 10 次浏览 • 3 天前 • 来自相关话题

为什么选择 Flink【1】流数据更真实地反映了我们的生活方式(实时聊天);【2】传统的数据架构是基于有限数据集的(Spark 是基于微批次数据处理);【3】我们的目标:低延迟、高吞吐(分布式架构,可能会出现顺序上的混乱,比如统计1个小时内,可能在1小时的时候... ...查看全部

Hadoop实时流处理框架Storm与Flink对比研究

知识百科数栈君 发表了文章 • 0 个评论 • 25 次浏览 • 2024-03-06 10:35 • 来自相关话题

探索Kudu与其他开源组件(如Hadoop、Flink)的协同效应

知识百科数栈君 发表了文章 • 0 个评论 • 34 次浏览 • 2024-03-05 11:18 • 来自相关话题

Apache Kudu作为一种新型的存储引擎,它在大数据领域中扮演着至关重要的角色,尤其是在与Apache Hadoop和Apache Flink这样的开源组件协作时,展现出了强大的互补性和协同效应。Kudu的核心优势与特性Kudu的设计目标是在大数据处理中弥... ...查看全部

最新版Flink CDC MySQL同步MySQL

网友分享数栈君 发表了文章 • 0 个评论 • 77 次浏览 • 2024-02-05 10:17 • 来自相关话题

1.概述Flink CDC 是Apache Flink ®的一组源连接器,使用变更数据捕获 (CDC) 从不同数据库中获取变更。Apache Flink 的 CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Deb... ...查看全部

大数据安全技术在能源互联网中的应用实例

知识百科沸羊羊 发表了文章 • 0 个评论 • 36 次浏览 • 2024-02-04 17:39 • 来自相关话题

数据安全技术在军事、国防大数据中的应用研究

知识百科沸羊羊 发表了文章 • 0 个评论 • 50 次浏览 • 2024-02-04 17:39 • 来自相关话题

大数据安全在智慧城市应急管理中的应用探索

知识百科沸羊羊 发表了文章 • 0 个评论 • 37 次浏览 • 2024-02-04 17:39 • 来自相关话题

大数据安全在企业风险管理中的作用与实践

知识百科沸羊羊 发表了文章 • 0 个评论 • 40 次浏览 • 2024-02-04 17:38 • 来自相关话题

数据安全在大数据人才培养中的重要地位

知识百科沸羊羊 发表了文章 • 0 个评论 • 39 次浏览 • 2024-02-04 17:37 • 来自相关话题

大数据环境下数据生命周期安全策略的实施

知识百科沸羊羊 发表了文章 • 0 个评论 • 39 次浏览 • 2024-02-04 17:37 • 来自相关话题

“数据驱动”时代,企业为什么需要实时湖仓?

产品交流数栈君 发表了文章 • 0 个评论 • 547 次浏览 • 2023-09-05 17:42 • 来自相关话题

当谈到数据湖的时候,大家都在说,可以把所有数据(结构化/半结构化/非结构化)一股脑都丢进去,进行统一的元数据管理。然后上层计算对接,进行流批计算/OLAP 分析/算法分析。这个没问题,数据湖确实能承接底层的这部分能力,但是同时出现的问题也是不容忽视的。本文将关... ...查看全部

倒带ChunJun,同心前行|2022年度回顾&2023年共建规划

ChunJun数栈君 发表了文章 • 0 个评论 • 450 次浏览 • 2023-02-15 10:27 • 来自相关话题

ChunJun是一个开始于2018年的批流一体数据集成框架项目,原名FlinkX。2022年2月22日,在FlinkX进行初版开源的整整四年后,技术团队决定对FlinkX进行整体升级,并更名为ChunJun,希望为大家真正提供一个稳定、高效、易用的批流一体的数... ...查看全部

ChunJun 2023年第一期版本迭代问题收集

ChunJun群内解答 回复了问题 • 1 人关注 • 9 个回复 • 590 次浏览 • 2023-02-15 11:21 • 来自相关话题

袋鼠云基于Calcite框架的SQL语法扩展探索

技术共享数栈君 发表了文章 • 0 个评论 • 398 次浏览 • 2023-01-16 16:47 • 来自相关话题

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite,理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中... ...查看全部

袋鼠云的数据湖解决方案选型的是那个框架?Hudi、Iceberg还是Delta Lake

数据中台群内解答 回复了问题 • 1 人关注 • 1 个回复 • 578 次浏览 • 2022-12-21 14:06 • 来自相关话题

12月8日直播预告丨ChunJun数据安全—Kerberos介绍

ChunJun数栈君 发表了文章 • 0 个评论 • 360 次浏览 • 2022-12-07 16:25 • 来自相关话题

1直播介绍本次直播我们将为大家介绍ChunJun的数据安全验证——Kerberos介绍,我们将从 Kerberos 的概念开始介绍ChunJun 任务提交过程中涉及到的 Kerberos 认证以及数据同步任务运行中是如何进行 Kerberos 认证的。通过本次... ...查看全部

开源共建 | TIS整合数据同步工具ChunJun,携手完善开源生态

ChunJun数栈君 发表了文章 • 0 个评论 • 644 次浏览 • 2022-11-30 10:10 • 来自相关话题

TIS整合ChunJun实操B站视频:https://www.bilibili.com/video/BV1QM411z7w5/?spm_id_from=333.999.0.001ChunJun 概述ChunJun是一款易用、稳定、高效的批流统一的数据集成框架,... ...查看全部

开源共建 | 中国移动冯江涛:ChunJun(原FlinkX)在数据入湖中的应用

ChunJun小美 发表了文章 • 0 个评论 • 482 次浏览 • 2022-11-23 10:45 • 来自相关话题

ChunJun(原 FlinkX)是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018 年 4 月,秉承着开源共享的理念,数栈技术团队在 github 上开源了 FlinkX,承蒙各位开发者的合作共建,FlinkX 得到了快速发展。两... ...查看全部

老哥,请教一下,咱们的框架支持数据的同步过程中的转换操作不。还是必须得端到端字段一一对应。

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 168 次浏览 • 2023-08-31 17:59 • 来自相关话题

按照教程maven编译后报错,是我的姿势不太对么,请教一下。1.12.8版本

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 194 次浏览 • 2023-08-31 17:59 • 来自相关话题

flink SQL的状态初始化是在哪个源码实现的?找了很久没有看到相似的?大佬指点一下

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 176 次浏览 • 2023-08-31 17:58 • 来自相关话题

老师您好,我提交一个mysql到hdfs任务后报错,是包没更新到最新吗

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 3 个回复 • 217 次浏览 • 2023-08-31 17:58 • 来自相关话题

为什么我查的mysql中的ADD是一个保留字,但是却在非保留关键字里出现了呢?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 3 个回复 • 182 次浏览 • 2023-08-31 17:57 • 来自相关话题

大佬们,chunjun框架支持数据etl过程,即数据的转换计算过程

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 177 次浏览 • 2023-08-31 17:57 • 来自相关话题

这段是有解决过网络抖动的问题吗

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 164 次浏览 • 2023-08-31 17:55 • 来自相关话题

这个错误能忽略不?也不知道啥问题

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 165 次浏览 • 2023-08-31 17:54 • 来自相关话题

另外请问一下binlogreader和mysqlcdcreader在实现方式上有什么区别

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 173 次浏览 • 2023-08-31 17:54 • 来自相关话题

请问http源怎么配动态参数,比如分页

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 151 次浏览 • 2023-08-31 17:53 • 来自相关话题

为什么选择 Flink 做实时处理

技术共享数栈君 发表了文章 • 0 个评论 • 10 次浏览 • 3 天前 • 来自相关话题

为什么选择 Flink【1】流数据更真实地反映了我们的生活方式(实时聊天);【2】传统的数据架构是基于有限数据集的(Spark 是基于微批次数据处理);【3】我们的目标:低延迟、高吞吐(分布式架构,可能会出现顺序上的混乱,比如统计1个小时内,可能在1小时的时候... ...查看全部

Hadoop实时流处理框架Storm与Flink对比研究

知识百科数栈君 发表了文章 • 0 个评论 • 25 次浏览 • 2024-03-06 10:35 • 来自相关话题

探索Kudu与其他开源组件(如Hadoop、Flink)的协同效应

知识百科数栈君 发表了文章 • 0 个评论 • 34 次浏览 • 2024-03-05 11:18 • 来自相关话题

Apache Kudu作为一种新型的存储引擎,它在大数据领域中扮演着至关重要的角色,尤其是在与Apache Hadoop和Apache Flink这样的开源组件协作时,展现出了强大的互补性和协同效应。Kudu的核心优势与特性Kudu的设计目标是在大数据处理中弥... ...查看全部

最新版Flink CDC MySQL同步MySQL

网友分享数栈君 发表了文章 • 0 个评论 • 77 次浏览 • 2024-02-05 10:17 • 来自相关话题

1.概述Flink CDC 是Apache Flink ®的一组源连接器,使用变更数据捕获 (CDC) 从不同数据库中获取变更。Apache Flink 的 CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Deb... ...查看全部

大数据安全技术在能源互联网中的应用实例

知识百科沸羊羊 发表了文章 • 0 个评论 • 36 次浏览 • 2024-02-04 17:39 • 来自相关话题

数据安全技术在军事、国防大数据中的应用研究

知识百科沸羊羊 发表了文章 • 0 个评论 • 50 次浏览 • 2024-02-04 17:39 • 来自相关话题

大数据安全在智慧城市应急管理中的应用探索

知识百科沸羊羊 发表了文章 • 0 个评论 • 37 次浏览 • 2024-02-04 17:39 • 来自相关话题

大数据安全在企业风险管理中的作用与实践

知识百科沸羊羊 发表了文章 • 0 个评论 • 40 次浏览 • 2024-02-04 17:38 • 来自相关话题

数据安全在大数据人才培养中的重要地位

知识百科沸羊羊 发表了文章 • 0 个评论 • 39 次浏览 • 2024-02-04 17:37 • 来自相关话题

大数据环境下数据生命周期安全策略的实施

知识百科沸羊羊 发表了文章 • 0 个评论 • 39 次浏览 • 2024-02-04 17:37 • 来自相关话题