数据同步

数据同步

通过binlog-source和mysql-source放到kafka-sink的格式不一样,现在遇到binlog-source到kafka-sink之后,无法正常输出数据,请问如何解决

ChunJun群内解答 回复了问题 • 1 人关注 • 5 个回复 • 64 次浏览 • 2023-08-31 17:52 • 来自相关话题

请问下这个任务提交报错是哪里没配置好吗

ChunJun群内解答 回复了问题 • 1 人关注 • 4 个回复 • 41 次浏览 • 2023-08-31 17:47 • 来自相关话题

convent这个包名是什么意思?是不是应该是convert

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 46 次浏览 • 2023-08-31 17:45 • 来自相关话题

问大家一下,flink的job一直初始化是因为什么

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 48 次浏览 • 2023-08-31 17:45 • 来自相关话题

请问下taier1.3版本容器启动,做了目录挂载卷,为什么还是说找不到呢

Taier群内解答 回复了问题 • 1 人关注 • 6 个回复 • 56 次浏览 • 2023-08-31 17:44 • 来自相关话题

请问下咱们有没有集成可视化的界面

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 45 次浏览 • 2023-08-31 17:42 • 来自相关话题

请问flinkx mysql writer是必须要在jdbcUrl中指定database吗,jdbcurl里不指定使用schema指定看起来没生效

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 48 次浏览 • 2023-08-31 17:41 • 来自相关话题

chunjun支持hudi和iceberg的连接器吗

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 47 次浏览 • 2023-08-31 17:40 • 来自相关话题

chujun是否支持自动建表?

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 44 次浏览 • 2023-08-31 17:40 • 来自相关话题

elasticsearch数据同步到hive

网友分享数栈君 发表了文章 • 0 个评论 • 74 次浏览 • 2023-07-31 11:29 • 来自相关话题

背景来自用户的需求: 用户有一部分数据来自 elasticsearch ,我们已经支持了通过 presto 查询 es 数据。但是用户需要将 es 表 和 hive 表做关联查询,而 presto 是不能跨数据源进行 join 查询的。所以需要先把 es 数据... ...查看全部
条新动态, 点击查看
请关注【ChunJun】公众号,回复关键词【课件】获取系列文章 显示全部 »
请关注【ChunJun】公众号,回复关键词【课件】获取系列文章

咨询一个问题,flinksql脚本模式 kafka berberos认证 ,这样配置有问题吗

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 277 次浏览 • 2022-12-08 14:29 • 来自相关话题

请问下chunjun的问题,mysql-sink端,只接收insert\update是吗?delete不支持是吗?

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 275 次浏览 • 2022-12-06 13:53 • 来自相关话题

如何获取ChunJun直播课的课件呀?

回复

ChunJun数栈君 回复了问题 • 1 人关注 • 1 个回复 • 265 次浏览 • 2022-11-21 10:43 • 来自相关话题

请问下这个任务提交报错是哪里没配置好吗

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 4 个回复 • 41 次浏览 • 2023-08-31 17:47 • 来自相关话题

convent这个包名是什么意思?是不是应该是convert

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 46 次浏览 • 2023-08-31 17:45 • 来自相关话题

问大家一下,flink的job一直初始化是因为什么

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 48 次浏览 • 2023-08-31 17:45 • 来自相关话题

请问下taier1.3版本容器启动,做了目录挂载卷,为什么还是说找不到呢

回复

Taier群内解答 回复了问题 • 1 人关注 • 6 个回复 • 56 次浏览 • 2023-08-31 17:44 • 来自相关话题

请问下咱们有没有集成可视化的界面

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 45 次浏览 • 2023-08-31 17:42 • 来自相关话题

请问flinkx mysql writer是必须要在jdbcUrl中指定database吗,jdbcurl里不指定使用schema指定看起来没生效

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 48 次浏览 • 2023-08-31 17:41 • 来自相关话题

chunjun支持hudi和iceberg的连接器吗

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 47 次浏览 • 2023-08-31 17:40 • 来自相关话题

chujun是否支持自动建表?

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 44 次浏览 • 2023-08-31 17:40 • 来自相关话题

大佬这是啥问题,install一直显示这个问题

回复

Taier群内解答 回复了问题 • 1 人关注 • 1 个回复 • 81 次浏览 • 2023-07-20 19:23 • 来自相关话题

elasticsearch数据同步到hive

网友分享数栈君 发表了文章 • 0 个评论 • 74 次浏览 • 2023-07-31 11:29 • 来自相关话题

背景来自用户的需求: 用户有一部分数据来自 elasticsearch ,我们已经支持了通过 presto 查询 es 数据。但是用户需要将 es 表 和 hive 表做关联查询,而 presto 是不能跨数据源进行 join 查询的。所以需要先把 es 数据... ...查看全部

20道常见的kafka面试题以及答案

网友分享数栈君 发表了文章 • 0 个评论 • 126 次浏览 • 2023-06-06 11:14 • 来自相关话题

1、kafka的消费者是pull(拉)还是push(推)模式,这种模式有什么好处?Kafka 遵循了一种大部分消息系统共同的传统的设计:producer 将消息推送到 broker,consumer 从broker 拉取消息。优点:pull模式消费者自主决定是... ...查看全部

RabbitMQ 小白教程,从安装到使用

网友分享数栈君 发表了文章 • 0 个评论 • 81 次浏览 • 2023-06-05 11:18 • 来自相关话题

一、 AMQP简介1 AMQP是什么? AMQP(Advanced Message Queuing Protocol,高级消息队列协议)是进程之间传递异步消息的网络协议。2 AMQP工作过程 发布者(Publisher)发布消息(Message),经过交换机(... ...查看全部

数据同步的一些常用方法和应用场景

网友分享数栈君 发表了文章 • 0 个评论 • 131 次浏览 • 2023-05-30 16:34 • 来自相关话题

大数据平台是一个集合数据融合、清洗、处理的地方,是大数据开发工程师完成数据开发的地方,大数据开发工程师主要完成的开发任务是离线开发,实时开发,数据同步等,但是离线开发和实时开发的前提条件是需要完成数据同步。数据同步分为批量同步和实时同步两种方式:批量同步是指通... ...查看全部

5月10日直播预告丨ChunJun FTP Connector 功能拓展

活动动态沸羊羊 发表了文章 • 0 个评论 • 131 次浏览 • 2023-05-09 16:52 • 来自相关话题

直播介绍本次直播我们将从 ChunJun FTP Connector 入手,从FTP Connector 详解、 自定义文件切割、自定义FileForma三个部分为大家详细介绍通过本次分享,希望大家能对 ChunJun FTP Connector 相关内容有更... ...查看全部

技术干货|如何利用 ChunJun 实现数据实时同步?

ChunJun数栈君 发表了文章 • 0 个评论 • 166 次浏览 • 2023-04-24 11:23 • 来自相关话题

实时同步是 ChunJun 的⼀个重要特性,指在数据同步过程中,数据源与⽬标系统之间的数据传输和更新⼏乎在同⼀时间进⾏。在实时同步场景中我们更加关注源端,当源系统中的数据发⽣变化时,这些变化会⽴即传输并应⽤到⽬标系统,以保证两个系统中的数据保持⼀致。这个特性需... ...查看全部

为什么说,数字化转型的难点不在数字化,而在转型

网友分享数栈君 发表了文章 • 0 个评论 • 92 次浏览 • 2023-04-17 11:19 • 来自相关话题

GE公司(通用电气公司),由伟大发明家托马斯·爱迪生创立于1892年,至今有130年历史,主营业务包括工业设备和家用电器。2001年,杰夫·伊梅尔特从被誉为“全球第一CEO”的杰克·韦尔奇手中接过GE董事长的帅印,非常想做出一番新成就,而不是固守前任留下的江山... ...查看全部

Flink实时告警系统开发探索实践分享

网友分享数栈君 发表了文章 • 0 个评论 • 461 次浏览 • 2023-03-08 10:31 • 来自相关话题

背景实时监控系统需要满足对多种来源的数据进行告警,为提升系统的可扩展行和灵活性,采用动态规则配置来实现多种数据源、多种告警规则的实时告警。需要实时监测和发现车端云端的信号、埋点数据是否有异常,车辆运行状况异常。1、数据来源2、系统架构设计1、系统分层架构设计本... ...查看全部

Flink CEP 新特性进展与在实时风控场景的落地

网友分享数栈君 发表了文章 • 0 个评论 • 193 次浏览 • 2023-03-08 10:31 • 来自相关话题

01Flink CEP 介绍&新功能解读1.1 什么是 Flink CEPCEP 是复杂事件处理 Complex Event Processing 的缩写,而 Flink CEP 则是基于 Flink 实现的复杂事件处理库,它可以识别出数据流中符合特定... ...查看全部

金融控股集团大数据治理探讨

技术共享数栈君 发表了文章 • 0 个评论 • 153 次浏览 • 2023-02-07 16:58 • 来自相关话题

随着金融控股集团下属子公司数字化、信息化水平的提升,集团内部对各类金融业务系统之间的数据交互、数据集成提出了更高要求。强化金融控股集团数据治理,通过深度的数通与共享提升金融控股集团协同效应,对于打造数字时代金控集团核心竞争力至关重要。本文分析了金控集团数据治理... ...查看全部