实时数仓

配置Kafka消息保留时间

网友分享 • 数栈君发表了文章 • 0 个评论 • 27 次浏览 • 5 天前 • 来自相关话题

基于时间保留通过保留期属性，消息就有了TTL(time to live 生存时间)。到期后，消息被标记为删除，从而释放磁盘空间。对于kafka主题中所有消息具有相同的生存时间，但可以在创建主题之前设置属性，或对已存在的主题在运行时修改属性。接下来我们将学习如何... ...查看全部

delta lake、hudi、iceberg分别是解决数据湖构建的哪些问题？

网友分享 • 数栈君发表了文章 • 0 个评论 • 7 次浏览 • 5 天前 • 来自相关话题

“数据湖”、“湖仓一体”及“流批一体”等概念，是近年来大数据领域热度最高的词汇，在各大互联网公司掀起了一波波的热潮，各家公司纷纷推出了自己的技术方案。在2020年末，袋鼠云技术团队做了众多技术方案的调研，包括包括Delta Lake、Hudi、Iceberg，... ...查看全部

深入解读 Flink 1.17

网友分享 • 数栈君发表了文章 • 0 个评论 • 14 次浏览 • 5 天前 • 来自相关话题

01Flink 1.17 OverviewFlink 1.17 版本完成了 7 个 FLIP，累计贡献者 170+，解决 600+Issue 以及 1100+Commits，整体来看是一个较大的版本。从 Issue 分布来看，1.17 版本主要在 Runtim... ...查看全部

技术干货｜如何利用 ChunJun 实现数据实时同步？

ChunJun • 数栈君发表了文章 • 0 个评论 • 39 次浏览 • 2023-04-24 11:23 • 来自相关话题

实时同步是 ChunJun 的⼀个重要特性，指在数据同步过程中，数据源与⽬标系统之间的数据传输和更新⼏乎在同⼀时间进⾏。在实时同步场景中我们更加关注源端，当源系统中的数据发⽣变化时，这些变化会⽴即传输并应⽤到⽬标系统，以保证两个系统中的数据保持⼀致。这个特性需... ...查看全部

产品大数据平台

知识百科 • 沸羊羊发表了文章 • 0 个评论 • 27 次浏览 • 2023-04-14 15:53 • 来自相关话题

常见的分布式数据库有哪些

知识百科 • 沸羊羊发表了文章 • 0 个评论 • 25 次浏览 • 2023-04-13 19:12 • 来自相关话题

实践数据湖iceberg：后台运行flink sql 增删改的效果

网友分享 • 数栈君发表了文章 • 0 个评论 • 45 次浏览 • 2023-03-31 16:25 • 来自相关话题

前言代码中展示FLINK SQL 执行增删改的效果一、JAVA 后台代码1.代码import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.ap... ...查看全部

实践数据湖iceberg：iceberg元数据详细解析

知识百科 • 数栈君发表了文章 • 0 个评论 • 50 次浏览 • 2023-03-31 16:13 • 来自相关话题

一、元数据管理概要1.每次写入都会成一个snapshot每次写入都会成一个snapshot, 每个snapshot包含着一系列的文件列表2 读写并发原理基于MVCC(Multi Version Concurrency Control)的机制,默认读取文件会从最... ...查看全部

实践数据湖iceberg：flink-sql从checkpoint重启

网友分享 • 数栈君发表了文章 • 0 个评论 • 94 次浏览 • 2023-03-31 16:13 • 来自相关话题

概要问题描述：前面测试过，直接重启insert任务，下次消费，会全量数据同步一份，并进行增量的监听。多次重启的话，会有很多重复数据。本课目的：解决这个问题，下次重启从checkpoint中恢复（测试sql的方式， jar包的方式以前测试过，不想测了）。本课... ...查看全部

实践数据湖iceberg：flink1.13.5 + iceberg0.131 CDC(CRUD测试成功)

网友分享 • 数栈君发表了文章 • 0 个评论 • 42 次浏览 • 2023-03-31 16:13 • 来自相关话题

概要版本：flink1.13.5, flink-sql-connector-mysql-cdc-2.1.1.jar ,iceberg0.131本课：测试cdc的CRUD，顺利测试通过insert,delete,update，CRUD都通过。重点：CRUD测试通... ...查看全部

想问一下，有没有人做过ChunJun结合华为大数据平台MRS？

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 120 次浏览 • 2022-12-08 14:33 • 来自相关话题

hive怎么把一个数据库的所有表导到另一个数据库里？

技术交流 • 小美回复了问题 • 1 人关注 • 1 个回复 • 174 次浏览 • 2022-11-23 10:42 • 来自相关话题

请问怎么样可以试用袋鼠云的产品？

产品交流 • 小美回复了问题 • 1 人关注 • 1 个回复 • 203 次浏览 • 2022-11-21 16:08 • 来自相关话题

配置Kafka消息保留时间

网友分享 • 数栈君发表了文章 • 0 个评论 • 27 次浏览 • 5 天前 • 来自相关话题

delta lake、hudi、iceberg分别是解决数据湖构建的哪些问题？

网友分享 • 数栈君发表了文章 • 0 个评论 • 7 次浏览 • 5 天前 • 来自相关话题

深入解读 Flink 1.17

网友分享 • 数栈君发表了文章 • 0 个评论 • 14 次浏览 • 5 天前 • 来自相关话题

技术干货｜如何利用 ChunJun 实现数据实时同步？

ChunJun • 数栈君发表了文章 • 0 个评论 • 39 次浏览 • 2023-04-24 11:23 • 来自相关话题

产品大数据平台

知识百科 • 沸羊羊发表了文章 • 0 个评论 • 27 次浏览 • 2023-04-14 15:53 • 来自相关话题

常见的分布式数据库有哪些

知识百科 • 沸羊羊发表了文章 • 0 个评论 • 25 次浏览 • 2023-04-13 19:12 • 来自相关话题

实践数据湖iceberg：后台运行flink sql 增删改的效果

网友分享 • 数栈君发表了文章 • 0 个评论 • 45 次浏览 • 2023-03-31 16:25 • 来自相关话题

前言代码中展示FLINK SQL 执行增删改的效果一、JAVA 后台代码1.代码import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.ap... ...查看全部

实践数据湖iceberg：iceberg元数据详细解析

知识百科 • 数栈君发表了文章 • 0 个评论 • 50 次浏览 • 2023-03-31 16:13 • 来自相关话题

实践数据湖iceberg：flink-sql从checkpoint重启

网友分享 • 数栈君发表了文章 • 0 个评论 • 94 次浏览 • 2023-03-31 16:13 • 来自相关话题

实践数据湖iceberg：flink1.13.5 + iceberg0.131 CDC(CRUD测试成功)

网友分享 • 数栈君发表了文章 • 0 个评论 • 42 次浏览 • 2023-03-31 16:13 • 来自相关话题

更多...

配置Kafka消息保留时间

delta lake、hudi、iceberg分别是解决数据湖构建的哪些问题？

深入解读 Flink 1.17

技术干货｜如何利用 ChunJun 实现数据实时同步？

产品大数据平台

常见的分布式数据库有哪些

实践数据湖iceberg：后台运行flink sql 增删改的效果

实践数据湖iceberg：iceberg元数据详细解析

实践数据湖iceberg：flink-sql从checkpoint重启

实践数据湖iceberg：flink1.13.5 + iceberg0.131 CDC(CRUD测试成功)

想问一下，有没有人做过ChunJun结合华为大数据平台MRS？

hive怎么把一个数据库的所有表导到另一个数据库里？

请问怎么样可以试用袋鼠云的产品？

配置Kafka消息保留时间

delta lake、hudi、iceberg分别是解决数据湖构建的哪些问题？

深入解读 Flink 1.17

技术干货｜如何利用 ChunJun 实现数据实时同步？

产品大数据平台

常见的分布式数据库有哪些

实践数据湖iceberg：后台运行flink sql 增删改的效果

实践数据湖iceberg：iceberg元数据详细解析

实践数据湖iceberg：flink-sql从checkpoint重启

实践数据湖iceberg：flink1.13.5 + iceberg0.131 CDC(CRUD测试成功)

话题描述

相关话题

1 人关注该话题