数据同步

数据同步

几种常见的数据同步方式

网友分享 • 数栈君 发表了文章 • 0 个评论 • 110 次浏览 • 2023-12-25 14:11 • 来自相关话题

数据仓库的特性之一是集成，即首先把未经过加工处理的、不同来源的、不同形式的数据同步到ODS层，一般情况下，这些ODS层数据包括日志数据和业务DB数据。对于业务DB数据而言(比如存储在MySQL中)，将数据采集并导入到数仓中(通常是Hive或者MaxComput... ...查看全部

通过binlog-source和mysql-source放到kafka-sink的格式不一样，现在遇到binlog-source到kafka-sink之后，无法正常输出数据，请问如何解决

ChunJun • 群内解答 回复了问题 • 1 人关注 • 5 个回复 • 202 次浏览 • 2023-08-31 17:52 • 来自相关话题

请问下这个任务提交报错是哪里没配置好吗

ChunJun • 群内解答 回复了问题 • 1 人关注 • 4 个回复 • 179 次浏览 • 2023-08-31 17:47 • 来自相关话题

convent这个包名是什么意思？是不是应该是convert

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 157 次浏览 • 2023-08-31 17:45 • 来自相关话题

问大家一下，flink的job一直初始化是因为什么

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 208 次浏览 • 2023-08-31 17:45 • 来自相关话题

请问下taier1.3版本容器启动，做了目录挂载卷，为什么还是说找不到呢

Taier • 群内解答 回复了问题 • 1 人关注 • 6 个回复 • 204 次浏览 • 2023-08-31 17:44 • 来自相关话题

请问下咱们有没有集成可视化的界面

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 177 次浏览 • 2023-08-31 17:42 • 来自相关话题

请问flinkx mysql writer是必须要在jdbcUrl中指定database吗，jdbcurl里不指定使用schema指定看起来没生效

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 177 次浏览 • 2023-08-31 17:41 • 来自相关话题

chunjun支持hudi和iceberg的连接器吗

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 193 次浏览 • 2023-08-31 17:40 • 来自相关话题

chujun是否支持自动建表？

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 187 次浏览 • 2023-08-31 17:40 • 来自相关话题

更多...
条新动态, 点击查看
匿名用户

数栈君 回答了问题 • 2022-11-21 10:43 • 1 个回复 不感兴趣

如何获取ChunJun直播课的课件呀？

请关注【ChunJun】公众号，回复关键词【课件】获取系列文章 显示全部 »
请关注【ChunJun】公众号，回复关键词【课件】获取系列文章
0 0
收藏
分享
没有更多了...

咨询一个问题，flinksql脚本模式 kafka berberos认证 ，这样配置有问题吗

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 465 次浏览 • 2022-12-08 14:29 • 来自相关话题

请问下chunjun的问题，mysql-sink端，只接收insert\update是吗？delete不支持是吗？

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 458 次浏览 • 2022-12-06 13:53 • 来自相关话题

各位，问个chunjun的问题，增量mysql数据，每次记录的增量起始位置的索引值，有没什么参数让他能指定输出一个文件啊？或者是默认是输出到哪的？

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 494 次浏览 • 2022-11-23 10:44 • 来自相关话题

如何获取ChunJun直播课的课件呀？

回复

ChunJun • 数栈君 回复了问题 • 1 人关注 • 1 个回复 • 432 次浏览 • 2022-11-21 10:43 • 来自相关话题

没有更多了...

通过binlog-source和mysql-source放到kafka-sink的格式不一样，现在遇到binlog-source到kafka-sink之后，无法正常输出数据，请问如何解决

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 5 个回复 • 202 次浏览 • 2023-08-31 17:52 • 来自相关话题

请问下这个任务提交报错是哪里没配置好吗

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 4 个回复 • 179 次浏览 • 2023-08-31 17:47 • 来自相关话题

convent这个包名是什么意思？是不是应该是convert

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 157 次浏览 • 2023-08-31 17:45 • 来自相关话题

问大家一下，flink的job一直初始化是因为什么

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 208 次浏览 • 2023-08-31 17:45 • 来自相关话题

请问下taier1.3版本容器启动，做了目录挂载卷，为什么还是说找不到呢

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 6 个回复 • 204 次浏览 • 2023-08-31 17:44 • 来自相关话题

请问下咱们有没有集成可视化的界面

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 177 次浏览 • 2023-08-31 17:42 • 来自相关话题

请问flinkx mysql writer是必须要在jdbcUrl中指定database吗，jdbcurl里不指定使用schema指定看起来没生效

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 177 次浏览 • 2023-08-31 17:41 • 来自相关话题

chunjun支持hudi和iceberg的连接器吗

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 193 次浏览 • 2023-08-31 17:40 • 来自相关话题

chujun是否支持自动建表？

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 187 次浏览 • 2023-08-31 17:40 • 来自相关话题

大佬这是啥问题，install一直显示这个问题

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 218 次浏览 • 2023-07-20 19:23 • 来自相关话题

没有更多了...

几种常见的数据同步方式

网友分享 • 数栈君 发表了文章 • 0 个评论 • 110 次浏览 • 2023-12-25 14:11 • 来自相关话题

数据仓库的特性之一是集成，即首先把未经过加工处理的、不同来源的、不同形式的数据同步到ODS层，一般情况下，这些ODS层数据包括日志数据和业务DB数据。对于业务DB数据而言(比如存储在MySQL中)，将数据采集并导入到数仓中(通常是Hive或者MaxComput... ...查看全部

elasticsearch数据同步到hive

网友分享 • 数栈君 发表了文章 • 0 个评论 • 269 次浏览 • 2023-07-31 11:29 • 来自相关话题

背景来自用户的需求: 用户有一部分数据来自 elasticsearch ，我们已经支持了通过 presto 查询 es 数据。但是用户需要将 es 表 和 hive 表做关联查询，而 presto 是不能跨数据源进行 join 查询的。所以需要先把 es 数据... ...查看全部

20道常见的kafka面试题以及答案

网友分享 • 数栈君 发表了文章 • 0 个评论 • 352 次浏览 • 2023-06-06 11:14 • 来自相关话题

1、kafka的消费者是pull(拉)还是push(推)模式，这种模式有什么好处？Kafka 遵循了一种大部分消息系统共同的传统的设计：producer 将消息推送到 broker，consumer 从broker 拉取消息。优点：pull模式消费者自主决定是... ...查看全部

RabbitMQ 小白教程，从安装到使用

网友分享 • 数栈君 发表了文章 • 0 个评论 • 208 次浏览 • 2023-06-05 11:18 • 来自相关话题

一、 AMQP简介1 AMQP是什么? AMQP(Advanced Message Queuing Protocol,高级消息队列协议)是进程之间传递异步消息的网络协议。2 AMQP工作过程 发布者(Publisher)发布消息(Message),经过交换机(... ...查看全部

数据同步的一些常用方法和应用场景

网友分享 • 数栈君 发表了文章 • 0 个评论 • 325 次浏览 • 2023-05-30 16:34 • 来自相关话题

大数据平台是一个集合数据融合、清洗、处理的地方，是大数据开发工程师完成数据开发的地方，大数据开发工程师主要完成的开发任务是离线开发，实时开发，数据同步等，但是离线开发和实时开发的前提条件是需要完成数据同步。数据同步分为批量同步和实时同步两种方式：批量同步是指通... ...查看全部

5月10日直播预告丨ChunJun FTP Connector 功能拓展

活动动态 • 沸羊羊 发表了文章 • 0 个评论 • 435 次浏览 • 2023-05-09 16:52 • 来自相关话题

直播介绍本次直播我们将从 ChunJun FTP Connector 入手，从FTP Connector 详解、 自定义文件切割、自定义FileForma三个部分为大家详细介绍通过本次分享，希望大家能对 ChunJun FTP Connector 相关内容有更... ...查看全部

技术干货｜如何利用 ChunJun 实现数据实时同步？

ChunJun • 数栈君 发表了文章 • 0 个评论 • 352 次浏览 • 2023-04-24 11:23 • 来自相关话题

实时同步是 ChunJun 的⼀个重要特性，指在数据同步过程中，数据源与⽬标系统之间的数据传输和更新⼏乎在同⼀时间进⾏。在实时同步场景中我们更加关注源端，当源系统中的数据发⽣变化时，这些变化会⽴即传输并应⽤到⽬标系统，以保证两个系统中的数据保持⼀致。这个特性需... ...查看全部

为什么说，数字化转型的难点不在数字化，而在转型

网友分享 • 数栈君 发表了文章 • 0 个评论 • 224 次浏览 • 2023-04-17 11:19 • 来自相关话题

GE公司（通用电气公司），由伟大发明家托马斯·爱迪生创立于1892年，至今有130年历史，主营业务包括工业设备和家用电器。2001年，杰夫·伊梅尔特从被誉为“全球第一CEO”的杰克·韦尔奇手中接过GE董事长的帅印，非常想做出一番新成就，而不是固守前任留下的江山... ...查看全部

Flink实时告警系统开发探索实践分享

网友分享 • 数栈君 发表了文章 • 0 个评论 • 1007 次浏览 • 2023-03-08 10:31 • 来自相关话题

背景实时监控系统需要满足对多种来源的数据进行告警，为提升系统的可扩展行和灵活性，采用动态规则配置来实现多种数据源、多种告警规则的实时告警。需要实时监测和发现车端云端的信号、埋点数据是否有异常，车辆运行状况异常。1、数据来源2、系统架构设计1、系统分层架构设计本... ...查看全部

Flink CEP 新特性进展与在实时风控场景的落地

网友分享 • 数栈君 发表了文章 • 0 个评论 • 462 次浏览 • 2023-03-08 10:31 • 来自相关话题

01Flink CEP 介绍&新功能解读1.1 什么是 Flink CEPCEP 是复杂事件处理 Complex Event Processing 的缩写，而 Flink CEP 则是基于 Flink 实现的复杂事件处理库，它可以识别出数据流中符合特定... ...查看全部
没有更多了...
热门产品
数雁EasyDigit 数栈DTinsight 数驹DTengine 易知微EasyV
解决方案
政务解决方案 港口解决方案 基金解决方案 制造解决方案 保险解决方案 高校解决方案 证券解决方案 文旅解决方案 银行解决方案 大宗商品解决方案
快速入口
合作与生态 开源社区 Github
联系我们

合作咨询 market@dtstack.com

联系电话 400-002-1024

总部地址 杭州市余杭区余杭塘路2301号海智中心8号楼

袋鼠云官方订阅号
袋鼠云官方订阅号
热门搜索：
数据中台 企业数据中台 金融数据中台 离线数据中台 数据中台公司 一站式数据中台 数据中台开发 一站式数据开发 数据中台解决方案 大数据分析 数据分析平台 新基建 大数据开发 大数据开发平台 数据化转型解决方案 信创 数据可视化 数字孪生 可视化大屏 数字化转型

友情链接： 易知微 云掣

@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号