数据同步

数据同步

离线开发平台丨袋鼠云产品功能更新报告10期

产品交流 • 数栈君 发表了文章 • 0 个评论 • 291 次浏览 • 2024-06-06 11:14 • 来自相关话题

新增功能更新1.调度周期为自定义调度日期时，支持在任务中灵活设置天、时、分钟三种调度模式  新增功能说明  背景：目前任务选择自定义调度周期时，仅可设置天调度实例的执行时间，无法根据自定义调度日历再去设置小时、分钟调度，没办法灵活地满足客户的使用场景。新增功能... ...查看全部

几种常见的数据同步方式

网友分享 • 数栈君 发表了文章 • 0 个评论 • 221 次浏览 • 2023-12-25 14:11 • 来自相关话题

数据仓库的特性之一是集成，即首先把未经过加工处理的、不同来源的、不同形式的数据同步到ODS层，一般情况下，这些ODS层数据包括日志数据和业务DB数据。对于业务DB数据而言(比如存储在MySQL中)，将数据采集并导入到数仓中(通常是Hive或者MaxComput... ...查看全部

通过binlog-source和mysql-source放到kafka-sink的格式不一样，现在遇到binlog-source到kafka-sink之后，无法正常输出数据，请问如何解决

ChunJun • 群内解答 回复了问题 • 1 人关注 • 5 个回复 • 303 次浏览 • 2023-08-31 17:52 • 来自相关话题

请问下这个任务提交报错是哪里没配置好吗

ChunJun • 群内解答 回复了问题 • 1 人关注 • 4 个回复 • 277 次浏览 • 2023-08-31 17:47 • 来自相关话题

convent这个包名是什么意思？是不是应该是convert

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 243 次浏览 • 2023-08-31 17:45 • 来自相关话题

问大家一下，flink的job一直初始化是因为什么

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 311 次浏览 • 2023-08-31 17:45 • 来自相关话题

请问下taier1.3版本容器启动，做了目录挂载卷，为什么还是说找不到呢

Taier • 群内解答 回复了问题 • 1 人关注 • 6 个回复 • 306 次浏览 • 2023-08-31 17:44 • 来自相关话题

请问下咱们有没有集成可视化的界面

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 252 次浏览 • 2023-08-31 17:42 • 来自相关话题

请问flinkx mysql writer是必须要在jdbcUrl中指定database吗，jdbcurl里不指定使用schema指定看起来没生效

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 266 次浏览 • 2023-08-31 17:41 • 来自相关话题

chunjun支持hudi和iceberg的连接器吗

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 288 次浏览 • 2023-08-31 17:40 • 来自相关话题

更多...
条新动态, 点击查看
匿名用户

数栈君 回答了问题 • 2022-11-21 10:43 • 1 个回复 不感兴趣

如何获取ChunJun直播课的课件呀？

请关注【ChunJun】公众号，回复关键词【课件】获取系列文章 显示全部 »
请关注【ChunJun】公众号，回复关键词【课件】获取系列文章
0 0
收藏
分享
没有更多了...

离线开发平台丨袋鼠云产品功能更新报告10期

产品交流 • 数栈君 发表了文章 • 0 个评论 • 291 次浏览 • 2024-06-06 11:14 • 来自相关话题

新增功能更新1.调度周期为自定义调度日期时，支持在任务中灵活设置天、时、分钟三种调度模式  新增功能说明  背景：目前任务选择自定义调度周期时，仅可设置天调度实例的执行时间，无法根据自定义调度日历再去设置小时、分钟调度，没办法灵活地满足客户的使用场景。新增功能... ...查看全部

咨询一个问题，flinksql脚本模式 kafka berberos认证 ，这样配置有问题吗

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 597 次浏览 • 2022-12-08 14:29 • 来自相关话题

请问下chunjun的问题，mysql-sink端，只接收insert\update是吗？delete不支持是吗？

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 577 次浏览 • 2022-12-06 13:53 • 来自相关话题

各位，问个chunjun的问题，增量mysql数据，每次记录的增量起始位置的索引值，有没什么参数让他能指定输出一个文件啊？或者是默认是输出到哪的？

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 615 次浏览 • 2022-11-23 10:44 • 来自相关话题

如何获取ChunJun直播课的课件呀？

回复

ChunJun • 数栈君 回复了问题 • 1 人关注 • 1 个回复 • 523 次浏览 • 2022-11-21 10:43 • 来自相关话题

没有更多了...

通过binlog-source和mysql-source放到kafka-sink的格式不一样，现在遇到binlog-source到kafka-sink之后，无法正常输出数据，请问如何解决

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 5 个回复 • 303 次浏览 • 2023-08-31 17:52 • 来自相关话题

请问下这个任务提交报错是哪里没配置好吗

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 4 个回复 • 277 次浏览 • 2023-08-31 17:47 • 来自相关话题

convent这个包名是什么意思？是不是应该是convert

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 243 次浏览 • 2023-08-31 17:45 • 来自相关话题

问大家一下，flink的job一直初始化是因为什么

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 311 次浏览 • 2023-08-31 17:45 • 来自相关话题

请问下taier1.3版本容器启动，做了目录挂载卷，为什么还是说找不到呢

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 6 个回复 • 306 次浏览 • 2023-08-31 17:44 • 来自相关话题

请问下咱们有没有集成可视化的界面

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 252 次浏览 • 2023-08-31 17:42 • 来自相关话题

请问flinkx mysql writer是必须要在jdbcUrl中指定database吗，jdbcurl里不指定使用schema指定看起来没生效

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 266 次浏览 • 2023-08-31 17:41 • 来自相关话题

chunjun支持hudi和iceberg的连接器吗

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 288 次浏览 • 2023-08-31 17:40 • 来自相关话题

chujun是否支持自动建表？

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 275 次浏览 • 2023-08-31 17:40 • 来自相关话题

大佬这是啥问题，install一直显示这个问题

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 308 次浏览 • 2023-07-20 19:23 • 来自相关话题

没有更多了...

离线开发平台丨袋鼠云产品功能更新报告10期

产品交流 • 数栈君 发表了文章 • 0 个评论 • 291 次浏览 • 2024-06-06 11:14 • 来自相关话题

新增功能更新1.调度周期为自定义调度日期时，支持在任务中灵活设置天、时、分钟三种调度模式  新增功能说明  背景：目前任务选择自定义调度周期时，仅可设置天调度实例的执行时间，无法根据自定义调度日历再去设置小时、分钟调度，没办法灵活地满足客户的使用场景。新增功能... ...查看全部

几种常见的数据同步方式

网友分享 • 数栈君 发表了文章 • 0 个评论 • 221 次浏览 • 2023-12-25 14:11 • 来自相关话题

数据仓库的特性之一是集成，即首先把未经过加工处理的、不同来源的、不同形式的数据同步到ODS层，一般情况下，这些ODS层数据包括日志数据和业务DB数据。对于业务DB数据而言(比如存储在MySQL中)，将数据采集并导入到数仓中(通常是Hive或者MaxComput... ...查看全部

elasticsearch数据同步到hive

网友分享 • 数栈君 发表了文章 • 0 个评论 • 394 次浏览 • 2023-07-31 11:29 • 来自相关话题

背景来自用户的需求: 用户有一部分数据来自 elasticsearch ，我们已经支持了通过 presto 查询 es 数据。但是用户需要将 es 表 和 hive 表做关联查询，而 presto 是不能跨数据源进行 join 查询的。所以需要先把 es 数据... ...查看全部

20道常见的kafka面试题以及答案

网友分享 • 数栈君 发表了文章 • 0 个评论 • 478 次浏览 • 2023-06-06 11:14 • 来自相关话题

1、kafka的消费者是pull(拉)还是push(推)模式，这种模式有什么好处？Kafka 遵循了一种大部分消息系统共同的传统的设计：producer 将消息推送到 broker，consumer 从broker 拉取消息。优点：pull模式消费者自主决定是... ...查看全部

RabbitMQ 小白教程，从安装到使用

网友分享 • 数栈君 发表了文章 • 0 个评论 • 312 次浏览 • 2023-06-05 11:18 • 来自相关话题

一、 AMQP简介1 AMQP是什么? AMQP(Advanced Message Queuing Protocol,高级消息队列协议)是进程之间传递异步消息的网络协议。2 AMQP工作过程 发布者(Publisher)发布消息(Message),经过交换机(... ...查看全部

数据同步的一些常用方法和应用场景

网友分享 • 数栈君 发表了文章 • 0 个评论 • 416 次浏览 • 2023-05-30 16:34 • 来自相关话题

大数据平台是一个集合数据融合、清洗、处理的地方，是大数据开发工程师完成数据开发的地方，大数据开发工程师主要完成的开发任务是离线开发，实时开发，数据同步等，但是离线开发和实时开发的前提条件是需要完成数据同步。数据同步分为批量同步和实时同步两种方式：批量同步是指通... ...查看全部

5月10日直播预告丨ChunJun FTP Connector 功能拓展

活动动态 • 沸羊羊 发表了文章 • 0 个评论 • 510 次浏览 • 2023-05-09 16:52 • 来自相关话题

直播介绍本次直播我们将从 ChunJun FTP Connector 入手，从FTP Connector 详解、 自定义文件切割、自定义FileForma三个部分为大家详细介绍通过本次分享，希望大家能对 ChunJun FTP Connector 相关内容有更... ...查看全部

技术干货｜如何利用 ChunJun 实现数据实时同步？

ChunJun • 数栈君 发表了文章 • 0 个评论 • 489 次浏览 • 2023-04-24 11:23 • 来自相关话题

实时同步是 ChunJun 的⼀个重要特性，指在数据同步过程中，数据源与⽬标系统之间的数据传输和更新⼏乎在同⼀时间进⾏。在实时同步场景中我们更加关注源端，当源系统中的数据发⽣变化时，这些变化会⽴即传输并应⽤到⽬标系统，以保证两个系统中的数据保持⼀致。这个特性需... ...查看全部

为什么说，数字化转型的难点不在数字化，而在转型

网友分享 • 数栈君 发表了文章 • 0 个评论 • 302 次浏览 • 2023-04-17 11:19 • 来自相关话题

GE公司（通用电气公司），由伟大发明家托马斯·爱迪生创立于1892年，至今有130年历史，主营业务包括工业设备和家用电器。2001年，杰夫·伊梅尔特从被誉为“全球第一CEO”的杰克·韦尔奇手中接过GE董事长的帅印，非常想做出一番新成就，而不是固守前任留下的江山... ...查看全部

Flink实时告警系统开发探索实践分享

网友分享 • 数栈君 发表了文章 • 0 个评论 • 1224 次浏览 • 2023-03-08 10:31 • 来自相关话题

背景实时监控系统需要满足对多种来源的数据进行告警，为提升系统的可扩展行和灵活性，采用动态规则配置来实现多种数据源、多种告警规则的实时告警。需要实时监测和发现车端云端的信号、埋点数据是否有异常，车辆运行状况异常。1、数据来源2、系统架构设计1、系统分层架构设计本... ...查看全部
没有更多了...
热门产品
数雁EasyDigit 数栈DTinsight 数驹DTengine 易知微EasyV
解决方案
政务解决方案 港口解决方案 基金解决方案 制造解决方案 保险解决方案 高校解决方案 证券解决方案 文旅解决方案 银行解决方案 大宗商品解决方案
快速入口
合作与生态 开源社区 Github
联系我们

合作咨询 market@dtstack.com

联系电话 400-002-1024

总部地址 杭州市余杭区余杭塘路2301号海智中心8号楼

袋鼠云官方订阅号
袋鼠云官方订阅号
热门搜索：
数据中台 企业数据中台 金融数据中台 离线数据中台 数据中台公司 一站式数据中台 数据中台开发 一站式数据开发 数据中台解决方案 大数据分析 数据分析平台 新基建 大数据开发 大数据开发平台 数据化转型解决方案 信创 数据可视化 数字孪生 可视化大屏 数字化转型

友情链接： 易知微 云掣

@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号