实时计算

实时计算

实时计算的核心技术详解

知识百科数栈君 发表了文章 • 0 个评论 • 65 次浏览 • 2023-10-16 14:16 • 来自相关话题

实时计算是一种处理数据的技术,它能够在数据产生后立即进行处理和分析。这种技术在许多领域都有广泛的应用,包括金融、电信、医疗、物流等。实时计算的核心技术包括数据采集、数据处理、数据存储和数据分析等。 一、数据采集 数据采集是实时计算的第一步,它涉及到从各种数据源... ...查看全部

从批处理到流处理:Flink的实时计算与离线计算的融合

知识百科数栈君 发表了文章 • 0 个评论 • 77 次浏览 • 2023-10-16 14:15 • 来自相关话题

Flink CDC2.4 整库实时同步MySql 到Doris

网友分享数栈君 发表了文章 • 0 个评论 • 217 次浏览 • 2023-10-13 15:24 • 来自相关话题

环境 Flink 1.15.4 实现原因 目前有很多工具都支持无代码实现Mysql -> Doris 的实时同步 如:SlectDB 已发布的功能包 Dinky SeaTunnel ... ...查看全部

大数据实时计算引擎是什么

知识百科沸羊羊 发表了文章 • 0 个评论 • 230 次浏览 • 2023-08-04 09:57 • 来自相关话题

大数据实时计算引擎:概述、应用、挑战与未来发展随着互联网、物联网、移动设备等技术的迅速发展,数据量正以惊人的速度增长。面对如此庞大的数据,如何进行高效处理、实时分析,从而提供快速、准确的信息决策支持,成为当前大数据领域面临的重要挑战。为了满足这一需求,大数据实... ...查看全部

命令消费kafka报错(id: -1 rack: null) disconnected

网友分享数栈君 发表了文章 • 0 个评论 • 368 次浏览 • 2023-07-06 11:50 • 来自相关话题

CDP 717环境使用kafka-console-consumer 命令消费kafka报错如下23/03/28 09:19:07 WARN clients.NetworkClient: [Consumer clientId=consumer-console-c... ...查看全部

基于袋鼠云实时开发平台开发 FlinkSQL 任务的实践探索

产品交流数栈君 发表了文章 • 0 个评论 • 522 次浏览 • 2023-07-06 11:43 • 来自相关话题

随着业务的发展,实时场景在各个⾏业中变得越来越重要。⽆论是⾦融、电商还是物流,实时数据处理都成为了其中的关键环节。Flink 凭借其强⼤的流处理特性、窗⼝操作以及对各种数据源的⽀持,成为实时场景下的⾸选开发⼯具。FlinkSQL 通过 SQL 语⾔⾯向数据开发... ...查看全部

大数据Flink进阶(十五):Flink On Yarn任务提交

网友分享数栈君 发表了文章 • 0 个评论 • 196 次浏览 • 2023-06-06 11:09 • 来自相关话题

Flink的整个提交流程会涉及到组件有:客户端、JobManager、ResourceManager、Dispatcher、JobMaster、TaskManager这几个相关的组件。对于这几个组件的作用可以查看下篇Flink运行架构介绍,本篇将主要讲解Fli... ...查看全部

大数据实时流计算

知识百科沸羊羊 发表了文章 • 0 个评论 • 159 次浏览 • 2023-06-06 10:55 • 来自相关话题

随着互联网的快速发展,大数据时代已经到来。实时流计算作为处理海量数据的重要手段,逐渐成为业界关注的焦点。本文将从以下几个方面介绍大数据实时流计算:引言大数据实时流计算是一种在实时状态下处理大规模数据的技术。它广泛应用于电商、金融、物流等行业,帮助企业迅速捕捉市... ...查看全部

Doris的关键性技术

网友分享数栈君 发表了文章 • 0 个评论 • 198 次浏览 • 2023-06-05 11:31 • 来自相关话题

Doris关键技术3.1 数据可靠性元数据使用 Memory+Checkpoint+Journal ( 分别是什么?),使用 BTBJE ( 类似于 Raft ) 协议实现高可用性和高可靠性。Doris 内部自行管理数据的多副本和自动修复。保证数据的高可用、高... ...查看全部

配置Kafka消息保留时间

网友分享数栈君 发表了文章 • 0 个评论 • 290 次浏览 • 2023-05-25 11:30 • 来自相关话题

基于时间保留通过保留期属性,消息就有了TTL(time to live 生存时间)。到期后,消息被标记为删除,从而释放磁盘空间。对于kafka主题中所有消息具有相同的生存时间,但可以在创建主题之前设置属性,或对已存在的主题在运行时修改属性。接下来我们将学习如何... ...查看全部

基于袋鼠云实时开发平台开发 FlinkSQL 任务的实践探索

产品交流数栈君 发表了文章 • 0 个评论 • 522 次浏览 • 2023-07-06 11:43 • 来自相关话题

随着业务的发展,实时场景在各个⾏业中变得越来越重要。⽆论是⾦融、电商还是物流,实时数据处理都成为了其中的关键环节。Flink 凭借其强⼤的流处理特性、窗⼝操作以及对各种数据源的⽀持,成为实时场景下的⾸选开发⼯具。FlinkSQL 通过 SQL 语⾔⾯向数据开发... ...查看全部

袋鼠云数栈V6.0全新产品矩阵发布,大数据计算引擎 EasyMR 焕新升级

产品交流数栈君 发表了文章 • 0 个评论 • 195 次浏览 • 2023-04-27 11:43 • 来自相关话题

4月20日,袋鼠云成功举行了以“数实融合,韧性生长”为主题的2023春季生长大会。会上,袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级,并重点发布了... ...查看全部

开源共建 | 中国移动冯江涛:ChunJun(原FlinkX)在数据入湖中的应用

ChunJun小美 发表了文章 • 0 个评论 • 384 次浏览 • 2022-11-23 10:45 • 来自相关话题

ChunJun(原 FlinkX)是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018 年 4 月,秉承着开源共享的理念,数栈技术团队在 github 上开源了 FlinkX,承蒙各位开发者的合作共建,FlinkX 得到了快速发展。两... ...查看全部

flinkx有类似像datax-web类似的可视化配置页面吗?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 243 次浏览 • 2023-05-12 11:27 • 来自相关话题

yarn模式报错,看不明白,该做的都做了

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 180 次浏览 • 2023-05-12 11:25 • 来自相关话题

这个哪个大佬给看看,local模式正常,这就不行了

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 154 次浏览 • 2023-05-12 11:21 • 来自相关话题

这是任务json,有问题么?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 211 次浏览 • 2023-05-12 11:18 • 来自相关话题

ChunJun的这种错误能定位吗?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 180 次浏览 • 2023-05-12 11:12 • 来自相关话题

想问一下,有没有人做过ChunJun结合华为大数据平台MRS?

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 268 次浏览 • 2022-12-08 14:33 • 来自相关话题

实时计算的核心技术详解

知识百科数栈君 发表了文章 • 0 个评论 • 65 次浏览 • 2023-10-16 14:16 • 来自相关话题

实时计算是一种处理数据的技术,它能够在数据产生后立即进行处理和分析。这种技术在许多领域都有广泛的应用,包括金融、电信、医疗、物流等。实时计算的核心技术包括数据采集、数据处理、数据存储和数据分析等。 一、数据采集 数据采集是实时计算的第一步,它涉及到从各种数据源... ...查看全部

从批处理到流处理:Flink的实时计算与离线计算的融合

知识百科数栈君 发表了文章 • 0 个评论 • 77 次浏览 • 2023-10-16 14:15 • 来自相关话题

Flink CDC2.4 整库实时同步MySql 到Doris

网友分享数栈君 发表了文章 • 0 个评论 • 217 次浏览 • 2023-10-13 15:24 • 来自相关话题

环境 Flink 1.15.4 实现原因 目前有很多工具都支持无代码实现Mysql -> Doris 的实时同步 如:SlectDB 已发布的功能包 Dinky SeaTunnel ... ...查看全部

大数据实时计算引擎是什么

知识百科沸羊羊 发表了文章 • 0 个评论 • 230 次浏览 • 2023-08-04 09:57 • 来自相关话题

大数据实时计算引擎:概述、应用、挑战与未来发展随着互联网、物联网、移动设备等技术的迅速发展,数据量正以惊人的速度增长。面对如此庞大的数据,如何进行高效处理、实时分析,从而提供快速、准确的信息决策支持,成为当前大数据领域面临的重要挑战。为了满足这一需求,大数据实... ...查看全部

命令消费kafka报错(id: -1 rack: null) disconnected

网友分享数栈君 发表了文章 • 0 个评论 • 368 次浏览 • 2023-07-06 11:50 • 来自相关话题

CDP 717环境使用kafka-console-consumer 命令消费kafka报错如下23/03/28 09:19:07 WARN clients.NetworkClient: [Consumer clientId=consumer-console-c... ...查看全部

基于袋鼠云实时开发平台开发 FlinkSQL 任务的实践探索

产品交流数栈君 发表了文章 • 0 个评论 • 522 次浏览 • 2023-07-06 11:43 • 来自相关话题

随着业务的发展,实时场景在各个⾏业中变得越来越重要。⽆论是⾦融、电商还是物流,实时数据处理都成为了其中的关键环节。Flink 凭借其强⼤的流处理特性、窗⼝操作以及对各种数据源的⽀持,成为实时场景下的⾸选开发⼯具。FlinkSQL 通过 SQL 语⾔⾯向数据开发... ...查看全部

大数据Flink进阶(十五):Flink On Yarn任务提交

网友分享数栈君 发表了文章 • 0 个评论 • 196 次浏览 • 2023-06-06 11:09 • 来自相关话题

Flink的整个提交流程会涉及到组件有:客户端、JobManager、ResourceManager、Dispatcher、JobMaster、TaskManager这几个相关的组件。对于这几个组件的作用可以查看下篇Flink运行架构介绍,本篇将主要讲解Fli... ...查看全部

大数据实时流计算

知识百科沸羊羊 发表了文章 • 0 个评论 • 159 次浏览 • 2023-06-06 10:55 • 来自相关话题

随着互联网的快速发展,大数据时代已经到来。实时流计算作为处理海量数据的重要手段,逐渐成为业界关注的焦点。本文将从以下几个方面介绍大数据实时流计算:引言大数据实时流计算是一种在实时状态下处理大规模数据的技术。它广泛应用于电商、金融、物流等行业,帮助企业迅速捕捉市... ...查看全部

Doris的关键性技术

网友分享数栈君 发表了文章 • 0 个评论 • 198 次浏览 • 2023-06-05 11:31 • 来自相关话题

Doris关键技术3.1 数据可靠性元数据使用 Memory+Checkpoint+Journal ( 分别是什么?),使用 BTBJE ( 类似于 Raft ) 协议实现高可用性和高可靠性。Doris 内部自行管理数据的多副本和自动修复。保证数据的高可用、高... ...查看全部

配置Kafka消息保留时间

网友分享数栈君 发表了文章 • 0 个评论 • 290 次浏览 • 2023-05-25 11:30 • 来自相关话题

基于时间保留通过保留期属性,消息就有了TTL(time to live 生存时间)。到期后,消息被标记为删除,从而释放磁盘空间。对于kafka主题中所有消息具有相同的生存时间,但可以在创建主题之前设置属性,或对已存在的主题在运行时修改属性。接下来我们将学习如何... ...查看全部