实时数仓

实时数仓

配置Kafka消息保留时间

网友分享数栈君 发表了文章 • 0 个评论 • 27 次浏览 • 5 天前 • 来自相关话题

基于时间保留通过保留期属性,消息就有了TTL(time to live 生存时间)。到期后,消息被标记为删除,从而释放磁盘空间。对于kafka主题中所有消息具有相同的生存时间,但可以在创建主题之前设置属性,或对已存在的主题在运行时修改属性。接下来我们将学习如何... ...查看全部

delta lake、hudi、iceberg分别是解决数据湖构建的哪些问题?

网友分享数栈君 发表了文章 • 0 个评论 • 7 次浏览 • 5 天前 • 来自相关话题

“数据湖”、“湖仓一体”及“流批一体”等概念,是近年来大数据领域热度最高的词汇,在各大互联网公司掀起了一波波的热潮,各家公司纷纷推出了自己的技术方案。在2020年末,袋鼠云技术团队做了众多技术方案的调研,包括包括Delta Lake、Hudi、Iceberg,... ...查看全部

深入解读 Flink 1.17

网友分享数栈君 发表了文章 • 0 个评论 • 14 次浏览 • 5 天前 • 来自相关话题

01Flink 1.17 OverviewFlink 1.17 版本完成了 7 个 FLIP,累计贡献者 170+,解决 600+Issue 以及 1100+Commits,整体来看是一个较大的版本。从 Issue 分布来看,1.17 版本主要在 Runtim... ...查看全部

技术干货|如何利用 ChunJun 实现数据实时同步?

ChunJun数栈君 发表了文章 • 0 个评论 • 39 次浏览 • 2023-04-24 11:23 • 来自相关话题

实时同步是 ChunJun 的⼀个重要特性,指在数据同步过程中,数据源与⽬标系统之间的数据传输和更新⼏乎在同⼀时间进⾏。在实时同步场景中我们更加关注源端,当源系统中的数据发⽣变化时,这些变化会⽴即传输并应⽤到⽬标系统,以保证两个系统中的数据保持⼀致。这个特性需... ...查看全部

产品大数据平台

知识百科沸羊羊 发表了文章 • 0 个评论 • 27 次浏览 • 2023-04-14 15:53 • 来自相关话题

常见的分布式数据库有哪些

知识百科沸羊羊 发表了文章 • 0 个评论 • 25 次浏览 • 2023-04-13 19:12 • 来自相关话题

实践数据湖iceberg:后台运行flink sql 增删改的效果

网友分享数栈君 发表了文章 • 0 个评论 • 45 次浏览 • 2023-03-31 16:25 • 来自相关话题

前言代码中展示FLINK SQL 执行增删改的效果一、JAVA 后台代码1.代码import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.ap... ...查看全部

实践数据湖iceberg:iceberg元数据详细解析

知识百科数栈君 发表了文章 • 0 个评论 • 50 次浏览 • 2023-03-31 16:13 • 来自相关话题

一、元数据管理概要1.每次写入都会成一个snapshot每次写入都会成一个snapshot, 每个snapshot包含着一系列的文件列表2 读写并发原理基于MVCC(Multi Version Concurrency Control)的机制,默认读取文件会从最... ...查看全部

实践数据湖iceberg:flink-sql从checkpoint重启

网友分享数栈君 发表了文章 • 0 个评论 • 94 次浏览 • 2023-03-31 16:13 • 来自相关话题

概要问题描述:前面测试过,直接重启insert任务,下次消费,会全量数据同步一份,并进行增量的监听。多次重启的话,会有很多重复数据。 本课目的:解决这个问题,下次重启从checkpoint中恢复(测试sql的方式, jar包的方式以前测试过,不想测了)。 本课... ...查看全部

实践数据湖iceberg:flink1.13.5 + iceberg0.131 CDC(CRUD测试成功)

网友分享数栈君 发表了文章 • 0 个评论 • 42 次浏览 • 2023-03-31 16:13 • 来自相关话题

概要版本:flink1.13.5, flink-sql-connector-mysql-cdc-2.1.1.jar ,iceberg0.131本课:测试cdc的CRUD,顺利测试通过insert,delete,update,CRUD都通过。重点:CRUD测试通... ...查看全部

飞跃计划 | 袋鼠云与SelectDB达成战略合作,打造云原生一体化数字联合解决方案

公司动态小美 发表了文章 • 0 个评论 • 227 次浏览 • 2023-02-02 15:02 • 来自相关话题

2月1日,袋鼠云与新一代云原生实时数仓厂商北京飞轮数据科技有限公司(简称:SelectDB)达成战略合作,并于袋鼠云总部举行签约仪式。袋鼠云生态总经理 闵佳、SelectDB CEO 连林江等双方代表出席了签约仪式。双方将聚焦产品融合和客户服务,充分发挥各自的... ...查看全部

请问怎么样可以试用袋鼠云的产品?

回复

产品交流小美 回复了问题 • 1 人关注 • 1 个回复 • 203 次浏览 • 2022-11-21 16:08 • 来自相关话题

想问一下,有没有人做过ChunJun结合华为大数据平台MRS?

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 120 次浏览 • 2022-12-08 14:33 • 来自相关话题

hive怎么把一个数据库的所有表导到另一个数据库里?

回复

技术交流小美 回复了问题 • 1 人关注 • 1 个回复 • 174 次浏览 • 2022-11-23 10:42 • 来自相关话题

请问怎么样可以试用袋鼠云的产品?

回复

产品交流小美 回复了问题 • 1 人关注 • 1 个回复 • 203 次浏览 • 2022-11-21 16:08 • 来自相关话题

配置Kafka消息保留时间

网友分享数栈君 发表了文章 • 0 个评论 • 27 次浏览 • 5 天前 • 来自相关话题

基于时间保留通过保留期属性,消息就有了TTL(time to live 生存时间)。到期后,消息被标记为删除,从而释放磁盘空间。对于kafka主题中所有消息具有相同的生存时间,但可以在创建主题之前设置属性,或对已存在的主题在运行时修改属性。接下来我们将学习如何... ...查看全部

delta lake、hudi、iceberg分别是解决数据湖构建的哪些问题?

网友分享数栈君 发表了文章 • 0 个评论 • 7 次浏览 • 5 天前 • 来自相关话题

“数据湖”、“湖仓一体”及“流批一体”等概念,是近年来大数据领域热度最高的词汇,在各大互联网公司掀起了一波波的热潮,各家公司纷纷推出了自己的技术方案。在2020年末,袋鼠云技术团队做了众多技术方案的调研,包括包括Delta Lake、Hudi、Iceberg,... ...查看全部

深入解读 Flink 1.17

网友分享数栈君 发表了文章 • 0 个评论 • 14 次浏览 • 5 天前 • 来自相关话题

01Flink 1.17 OverviewFlink 1.17 版本完成了 7 个 FLIP,累计贡献者 170+,解决 600+Issue 以及 1100+Commits,整体来看是一个较大的版本。从 Issue 分布来看,1.17 版本主要在 Runtim... ...查看全部

技术干货|如何利用 ChunJun 实现数据实时同步?

ChunJun数栈君 发表了文章 • 0 个评论 • 39 次浏览 • 2023-04-24 11:23 • 来自相关话题

实时同步是 ChunJun 的⼀个重要特性,指在数据同步过程中,数据源与⽬标系统之间的数据传输和更新⼏乎在同⼀时间进⾏。在实时同步场景中我们更加关注源端,当源系统中的数据发⽣变化时,这些变化会⽴即传输并应⽤到⽬标系统,以保证两个系统中的数据保持⼀致。这个特性需... ...查看全部

产品大数据平台

知识百科沸羊羊 发表了文章 • 0 个评论 • 27 次浏览 • 2023-04-14 15:53 • 来自相关话题

常见的分布式数据库有哪些

知识百科沸羊羊 发表了文章 • 0 个评论 • 25 次浏览 • 2023-04-13 19:12 • 来自相关话题

实践数据湖iceberg:后台运行flink sql 增删改的效果

网友分享数栈君 发表了文章 • 0 个评论 • 45 次浏览 • 2023-03-31 16:25 • 来自相关话题

前言代码中展示FLINK SQL 执行增删改的效果一、JAVA 后台代码1.代码import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.ap... ...查看全部

实践数据湖iceberg:iceberg元数据详细解析

知识百科数栈君 发表了文章 • 0 个评论 • 50 次浏览 • 2023-03-31 16:13 • 来自相关话题

一、元数据管理概要1.每次写入都会成一个snapshot每次写入都会成一个snapshot, 每个snapshot包含着一系列的文件列表2 读写并发原理基于MVCC(Multi Version Concurrency Control)的机制,默认读取文件会从最... ...查看全部

实践数据湖iceberg:flink-sql从checkpoint重启

网友分享数栈君 发表了文章 • 0 个评论 • 94 次浏览 • 2023-03-31 16:13 • 来自相关话题

概要问题描述:前面测试过,直接重启insert任务,下次消费,会全量数据同步一份,并进行增量的监听。多次重启的话,会有很多重复数据。 本课目的:解决这个问题,下次重启从checkpoint中恢复(测试sql的方式, jar包的方式以前测试过,不想测了)。 本课... ...查看全部

实践数据湖iceberg:flink1.13.5 + iceberg0.131 CDC(CRUD测试成功)

网友分享数栈君 发表了文章 • 0 个评论 • 42 次浏览 • 2023-03-31 16:13 • 来自相关话题

概要版本:flink1.13.5, flink-sql-connector-mysql-cdc-2.1.1.jar ,iceberg0.131本课:测试cdc的CRUD,顺利测试通过insert,delete,update,CRUD都通过。重点:CRUD测试通... ...查看全部