高效批流一体

流处理与批处理的完美结合：流批一体技术深度解析

知识百科 • 数栈君发表了文章 • 0 个评论 • 122 次浏览 • 2024-04-28 14:10 • 来自相关话题

揭秘流批一体化平台：如何实现数据处理的灵活性与时效性

知识百科 • 数栈君发表了文章 • 0 个评论 • 143 次浏览 • 2024-04-28 14:09 • 来自相关话题

流批一体：打造实时与批量数据处理的高效融合策略

知识百科 • 数栈君发表了文章 • 0 个评论 • 117 次浏览 • 2024-04-28 14:09 • 来自相关话题

深入浅出流批一体理论篇——数据架构的演进

网友分享 • 数栈君发表了文章 • 0 个评论 • 180 次浏览 • 2024-04-28 14:08 • 来自相关话题

一、前大数据时代人人都知道罗马不是一天建成的，但没人告诉过你罗马是怎样一天天建成的。你看见罗马时，它就已经是罗马了。当我进阿里时，正是这样的感觉。我没有经历过阿里数据架构（包括平台工具）从0到1的过程。我相信很多阿里老员工也没有未见得全经历过。因为从行业视角来... ...查看全部

流处理和批处理讲解、主流框架对比、流批一体架构

网友分享 • 数栈君发表了文章 • 0 个评论 • 1316 次浏览 • 2024-04-28 14:05 • 来自相关话题

什么是流处理和批处理？流处理：对数据进行实时处理的方式，数据会以流的形式不断地产生和处理。流处理可以快速响应数据的变化，及时地进行数据处理和分析，适用于需要实时处理数据的场景。例如：实时数仓、实时监控、实时推荐等等。优点：实时性：数据在产生的时候就立即被处理，... ...查看全部

数据湖基本概念--什么是数据湖，数据湖又能干什么？为什么是Hudi

网友分享 • 数栈君发表了文章 • 0 个评论 • 470 次浏览 • 2023-05-24 15:46 • 来自相关话题

一、什么是数据湖对于经常跟数据打交道的同学，初步听到数据湖这个概念的时候，肯定有点懵，但是相信大家对于数据仓库这个概念并不陌生。到了20世纪80年代以后，基于关系型数据库的事务处理成为了企业IT应用的主流。在这个阶段，企业的I... ...查看全部

实践数据湖iceberg：后台运行flink sql 增删改的效果

网友分享 • 数栈君发表了文章 • 0 个评论 • 516 次浏览 • 2023-03-31 16:25 • 来自相关话题

前言代码中展示FLINK SQL 执行增删改的效果一、JAVA 后台代码1.代码import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.ap... ...查看全部

实践数据湖iceberg：iceberg元数据详细解析

知识百科 • 数栈君发表了文章 • 0 个评论 • 1087 次浏览 • 2023-03-31 16:13 • 来自相关话题

一、元数据管理概要1.每次写入都会成一个snapshot每次写入都会成一个snapshot, 每个snapshot包含着一系列的文件列表2 读写并发原理基于MVCC(Multi Version Concurrency Control)的机制,默认读取文件会从最... ...查看全部

实践数据湖iceberg：flink-sql从checkpoint重启

网友分享 • 数栈君发表了文章 • 0 个评论 • 785 次浏览 • 2023-03-31 16:13 • 来自相关话题

概要问题描述：前面测试过，直接重启insert任务，下次消费，会全量数据同步一份，并进行增量的监听。多次重启的话，会有很多重复数据。本课目的：解决这个问题，下次重启从checkpoint中恢复（测试sql的方式， jar包的方式以前测试过，不想测了）。本课... ...查看全部

实践数据湖iceberg：flink1.13.5 + iceberg0.131 CDC(CRUD测试成功)

网友分享 • 数栈君发表了文章 • 0 个评论 • 304 次浏览 • 2023-03-31 16:13 • 来自相关话题

概要版本：flink1.13.5, flink-sql-connector-mysql-cdc-2.1.1.jar ,iceberg0.131本课：测试cdc的CRUD，顺利测试通过insert,delete,update，CRUD都通过。重点：CRUD测试通... ...查看全部

我在测试读取MongoDB数据保存到另一个MongoDB空集合的时候，_id类型为objectid的时候显示exception为脏数据，_id修改为string的时候

ChunJun • 群内解答回复了问题 • 1 人关注 • 1 个回复 • 448 次浏览 • 2023-03-30 10:56 • 来自相关话题

佬麻烦问一下chunjun有根据名称映射传输数据的这个功能吗

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 395 次浏览 • 2023-03-28 11:11 • 来自相关话题

ChunJun 2023年第一期版本迭代问题收集

ChunJun • 群内解答回复了问题 • 1 人关注 • 9 个回复 • 1018 次浏览 • 2023-02-15 11:21 • 来自相关话题

流处理与批处理的完美结合：流批一体技术深度解析

知识百科 • 数栈君发表了文章 • 0 个评论 • 122 次浏览 • 2024-04-28 14:10 • 来自相关话题

揭秘流批一体化平台：如何实现数据处理的灵活性与时效性

知识百科 • 数栈君发表了文章 • 0 个评论 • 143 次浏览 • 2024-04-28 14:09 • 来自相关话题

流批一体：打造实时与批量数据处理的高效融合策略

知识百科 • 数栈君发表了文章 • 0 个评论 • 117 次浏览 • 2024-04-28 14:09 • 来自相关话题

深入浅出流批一体理论篇——数据架构的演进

网友分享 • 数栈君发表了文章 • 0 个评论 • 180 次浏览 • 2024-04-28 14:08 • 来自相关话题

流处理和批处理讲解、主流框架对比、流批一体架构

网友分享 • 数栈君发表了文章 • 0 个评论 • 1316 次浏览 • 2024-04-28 14:05 • 来自相关话题

数据湖基本概念--什么是数据湖，数据湖又能干什么？为什么是Hudi

网友分享 • 数栈君发表了文章 • 0 个评论 • 470 次浏览 • 2023-05-24 15:46 • 来自相关话题

实践数据湖iceberg：后台运行flink sql 增删改的效果

网友分享 • 数栈君发表了文章 • 0 个评论 • 516 次浏览 • 2023-03-31 16:25 • 来自相关话题

前言代码中展示FLINK SQL 执行增删改的效果一、JAVA 后台代码1.代码import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.ap... ...查看全部

实践数据湖iceberg：iceberg元数据详细解析

知识百科 • 数栈君发表了文章 • 0 个评论 • 1087 次浏览 • 2023-03-31 16:13 • 来自相关话题

实践数据湖iceberg：flink-sql从checkpoint重启

网友分享 • 数栈君发表了文章 • 0 个评论 • 785 次浏览 • 2023-03-31 16:13 • 来自相关话题

实践数据湖iceberg：flink1.13.5 + iceberg0.131 CDC(CRUD测试成功)

网友分享 • 数栈君发表了文章 • 0 个评论 • 304 次浏览 • 2023-03-31 16:13 • 来自相关话题

更多...

流处理与批处理的完美结合：流批一体技术深度解析

揭秘流批一体化平台：如何实现数据处理的灵活性与时效性

流批一体：打造实时与批量数据处理的高效融合策略

深入浅出流批一体理论篇——数据架构的演进

流处理和批处理讲解、主流框架对比、流批一体架构

数据湖基本概念--什么是数据湖，数据湖又能干什么？为什么是Hudi

实践数据湖iceberg：后台运行flink sql 增删改的效果

实践数据湖iceberg：iceberg元数据详细解析

实践数据湖iceberg：flink-sql从checkpoint重启

实践数据湖iceberg：flink1.13.5 + iceberg0.131 CDC(CRUD测试成功)

我在测试读取MongoDB数据保存到另一个MongoDB空集合的时候，_id类型为objectid的时候显示exception为脏数据，_id修改为string的时候

佬麻烦问一下chunjun有根据名称映射传输数据的这个功能吗

ChunJun 2023年第一期版本迭代问题收集

流处理与批处理的完美结合：流批一体技术深度解析

揭秘流批一体化平台：如何实现数据处理的灵活性与时效性

流批一体：打造实时与批量数据处理的高效融合策略

深入浅出流批一体理论篇——数据架构的演进

流处理和批处理讲解、主流框架对比、流批一体架构

数据湖基本概念--什么是数据湖，数据湖又能干什么？为什么是Hudi

实践数据湖iceberg：后台运行flink sql 增删改的效果

实践数据湖iceberg：iceberg元数据详细解析

实践数据湖iceberg：flink-sql从checkpoint重启

实践数据湖iceberg：flink1.13.5 + iceberg0.131 CDC(CRUD测试成功)

话题描述

相关话题

1 人关注该话题