大数据同步工具

网友分享 • 数栈君发表了文章 • 0 个评论 • 126 次浏览 • 2023-12-25 14:11 • 来自相关话题

数据仓库的特性之一是集成，即首先把未经过加工处理的、不同来源的、不同形式的数据同步到ODS层，一般情况下，这些ODS层数据包括日志数据和业务DB数据。对于业务DB数据而言(比如存储在MySQL中)，将数据采集并导入到数仓中(通常是Hive或者MaxComput... ...查看全部

网友分享 • 数栈君发表了文章 • 0 个评论 • 370 次浏览 • 2023-06-06 11:14 • 来自相关话题

1、kafka的消费者是pull(拉)还是push(推)模式，这种模式有什么好处？Kafka 遵循了一种大部分消息系统共同的传统的设计：producer 将消息推送到 broker，consumer 从broker 拉取消息。优点：pull模式消费者自主决定是... ...查看全部

网友分享 • 数栈君发表了文章 • 0 个评论 • 224 次浏览 • 2023-06-05 11:18 • 来自相关话题

一、 AMQP简介1 AMQP是什么? AMQP(Advanced Message Queuing Protocol,高级消息队列协议)是进程之间传递异步消息的网络协议。2 AMQP工作过程发布者(Publisher)发布消息(Message),经过交换机(... ...查看全部

网友分享 • 数栈君发表了文章 • 0 个评论 • 338 次浏览 • 2023-05-30 16:34 • 来自相关话题

大数据平台是一个集合数据融合、清洗、处理的地方，是大数据开发工程师完成数据开发的地方，大数据开发工程师主要完成的开发任务是离线开发，实时开发，数据同步等，但是离线开发和实时开发的前提条件是需要完成数据同步。数据同步分为批量同步和实时同步两种方式：批量同步是指通... ...查看全部

ChunJun • 数栈君发表了文章 • 0 个评论 • 376 次浏览 • 2023-04-24 11:23 • 来自相关话题

实时同步是 ChunJun 的⼀个重要特性，指在数据同步过程中，数据源与⽬标系统之间的数据传输和更新⼏乎在同⼀时间进⾏。在实时同步场景中我们更加关注源端，当源系统中的数据发⽣变化时，这些变化会⽴即传输并应⽤到⽬标系统，以保证两个系统中的数据保持⼀致。这个特性需... ...查看全部

ChunJun • 数栈君发表了文章 • 0 个评论 • 411 次浏览 • 2022-12-07 16:25 • 来自相关话题