flink

flink

大数据Flink进阶(十五):Flink On Yarn任务提交

知识百科数栈君 发表了文章 • 0 个评论 • 15 次浏览 • 1 天前 • 来自相关话题

Hive SQL on Flink 构建流批一体引擎

网友分享数栈君 发表了文章 • 0 个评论 • 27 次浏览 • 6 天前 • 来自相关话题

01构建流批一体引擎的挑战目前,流和批仍然是相对割裂的。虽然我们在应用层统一了,但从接入层开始,不同的引擎依旧有不同的接入层、API 层、执行层。我们认为,统一的流批一体引擎应该是从接入层开始使用 SQL Gateway 作为接入层。在 API 层使用 Fli... ...查看全部

大数据Flink进阶(十二):Flink本地模式开启WebUI

网友分享数栈君 发表了文章 • 0 个评论 • 23 次浏览 • 2023-05-26 17:01 • 来自相关话题

不过Flink IDEA中执行的webui 需要 flink-runtime-web 包的支持pom 如下:<dependency> <groupId>org.apache.flink</groupId>... ...查看全部

大佬们,chunjun,yan-prejob 启动时 会报空,这是什么原因呢

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 26 次浏览 • 2023-05-26 10:41 • 来自相关话题

有没有大佬遇到过 把chunjun-dist 放到 flink lib里面创建 iceberg的连接器失败,去掉就可以创建 ,版本1.16

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 23 次浏览 • 2023-05-26 10:41 • 来自相关话题

问下大家 flink在提交任务后,在源端数据库会有一个进程

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 23 次浏览 • 2023-05-26 10:40 • 来自相关话题

我修改了flink-json的源代码暂时绕过去了

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 34 次浏览 • 2023-05-26 10:40 • 来自相关话题

请教各位大佬一个问题哈,目前chunjun支持postgresql数据库11版本备库实时数据同步吗?

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 19 次浏览 • 2023-05-26 10:38 • 来自相关话题

啥时候能把flink cdc的版本提升呀

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 28 次浏览 • 2023-05-26 10:29 • 来自相关话题

倒带ChunJun,同心前行|2022年度回顾&2023年共建规划

ChunJun数栈君 发表了文章 • 0 个评论 • 133 次浏览 • 2023-02-15 10:27 • 来自相关话题

ChunJun是一个开始于2018年的批流一体数据集成框架项目,原名FlinkX。2022年2月22日,在FlinkX进行初版开源的整整四年后,技术团队决定对FlinkX进行整体升级,并更名为ChunJun,希望为大家真正提供一个稳定、高效、易用的批流一体的数... ...查看全部

ChunJun 2023年第一期版本迭代问题收集

ChunJun群内解答 回复了问题 • 1 人关注 • 9 个回复 • 179 次浏览 • 2023-02-15 11:21 • 来自相关话题

袋鼠云基于Calcite框架的SQL语法扩展探索

技术共享数栈君 发表了文章 • 0 个评论 • 168 次浏览 • 2023-01-16 16:47 • 来自相关话题

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite,理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中... ...查看全部

袋鼠云的数据湖解决方案选型的是那个框架?Hudi、Iceberg还是Delta Lake

数据中台群内解答 回复了问题 • 1 人关注 • 1 个回复 • 234 次浏览 • 2022-12-21 14:06 • 来自相关话题

12月8日直播预告丨ChunJun数据安全—Kerberos介绍

ChunJun数栈君 发表了文章 • 0 个评论 • 146 次浏览 • 2022-12-07 16:25 • 来自相关话题

1直播介绍本次直播我们将为大家介绍ChunJun的数据安全验证——Kerberos介绍,我们将从 Kerberos 的概念开始介绍ChunJun 任务提交过程中涉及到的 Kerberos 认证以及数据同步任务运行中是如何进行 Kerberos 认证的。通过本次... ...查看全部

开源共建 | TIS整合数据同步工具ChunJun,携手完善开源生态

ChunJun数栈君 发表了文章 • 0 个评论 • 256 次浏览 • 2022-11-30 10:10 • 来自相关话题

TIS整合ChunJun实操B站视频:https://www.bilibili.com/video/BV1QM411z7w5/?spm_id_from=333.999.0.001ChunJun 概述ChunJun是一款易用、稳定、高效的批流统一的数据集成框架,... ...查看全部

开源共建 | 中国移动冯江涛:ChunJun(原FlinkX)在数据入湖中的应用

ChunJun小美 发表了文章 • 0 个评论 • 218 次浏览 • 2022-11-23 10:45 • 来自相关话题

ChunJun(原 FlinkX)是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018 年 4 月,秉承着开源共享的理念,数栈技术团队在 github 上开源了 FlinkX,承蒙各位开发者的合作共建,FlinkX 得到了快速发展。两... ...查看全部

大佬们,chunjun,yan-prejob 启动时 会报空,这是什么原因呢

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 26 次浏览 • 2023-05-26 10:41 • 来自相关话题

有没有大佬遇到过 把chunjun-dist 放到 flink lib里面创建 iceberg的连接器失败,去掉就可以创建 ,版本1.16

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 23 次浏览 • 2023-05-26 10:41 • 来自相关话题

问下大家 flink在提交任务后,在源端数据库会有一个进程

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 23 次浏览 • 2023-05-26 10:40 • 来自相关话题

我修改了flink-json的源代码暂时绕过去了

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 34 次浏览 • 2023-05-26 10:40 • 来自相关话题

请教各位大佬一个问题哈,目前chunjun支持postgresql数据库11版本备库实时数据同步吗?

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 19 次浏览 • 2023-05-26 10:38 • 来自相关话题

啥时候能把flink cdc的版本提升呀

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 28 次浏览 • 2023-05-26 10:29 • 来自相关话题

1.13 和1.16的 json包结构发生了变化;mapper对象修改了不在构造方法中创建了;

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 28 次浏览 • 2023-05-26 10:28 • 来自相关话题

有大佬遇到过这个问题吗?使用docker镜像进行ES数据同步,

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 21 次浏览 • 2023-05-26 10:27 • 来自相关话题

大数据Flink进阶(十五):Flink On Yarn任务提交

知识百科数栈君 发表了文章 • 0 个评论 • 15 次浏览 • 1 天前 • 来自相关话题

Hive SQL on Flink 构建流批一体引擎

网友分享数栈君 发表了文章 • 0 个评论 • 27 次浏览 • 6 天前 • 来自相关话题

01构建流批一体引擎的挑战目前,流和批仍然是相对割裂的。虽然我们在应用层统一了,但从接入层开始,不同的引擎依旧有不同的接入层、API 层、执行层。我们认为,统一的流批一体引擎应该是从接入层开始使用 SQL Gateway 作为接入层。在 API 层使用 Fli... ...查看全部

大数据Flink进阶(十二):Flink本地模式开启WebUI

网友分享数栈君 发表了文章 • 0 个评论 • 23 次浏览 • 2023-05-26 17:01 • 来自相关话题

不过Flink IDEA中执行的webui 需要 flink-runtime-web 包的支持pom 如下:<dependency> <groupId>org.apache.flink</groupId>... ...查看全部

深入解读 Flink 1.17

网友分享数栈君 发表了文章 • 0 个评论 • 25 次浏览 • 2023-05-25 10:34 • 来自相关话题

01Flink 1.17 OverviewFlink 1.17 版本完成了 7 个 FLIP,累计贡献者 170+,解决 600+Issue 以及 1100+Commits,整体来看是一个较大的版本。从 Issue 分布来看,1.17 版本主要在 Runtim... ...查看全部

Spark还是Flink,大数据计算引擎该如何选择?

知识百科数栈君 发表了文章 • 0 个评论 • 45 次浏览 • 2023-03-10 11:31 • 来自相关话题

Flink实时告警系统开发探索实践分享

网友分享数栈君 发表了文章 • 0 个评论 • 184 次浏览 • 2023-03-08 10:31 • 来自相关话题

背景实时监控系统需要满足对多种来源的数据进行告警,为提升系统的可扩展行和灵活性,采用动态规则配置来实现多种数据源、多种告警规则的实时告警。需要实时监测和发现车端云端的信号、埋点数据是否有异常,车辆运行状况异常。1、数据来源2、系统架构设计1、系统分层架构设计本... ...查看全部

Flink CEP 新特性进展与在实时风控场景的落地

网友分享数栈君 发表了文章 • 0 个评论 • 89 次浏览 • 2023-03-08 10:31 • 来自相关话题

01Flink CEP 介绍&新功能解读1.1 什么是 Flink CEPCEP 是复杂事件处理 Complex Event Processing 的缩写,而 Flink CEP 则是基于 Flink 实现的复杂事件处理库,它可以识别出数据流中符合特定... ...查看全部

Flink SQL的行级权限解决方案及源码解读

知识百科数栈君 发表了文章 • 0 个评论 • 54 次浏览 • 2023-03-08 10:29 • 来自相关话题

最新分享!Flink经典编程场景大公开

知识百科数栈君 发表了文章 • 0 个评论 • 48 次浏览 • 2023-03-08 10:26 • 来自相关话题

大数据计算引擎hive

知识百科数栈君 发表了文章 • 0 个评论 • 49 次浏览 • 2023-02-27 16:13 • 来自相关话题