实时计算

实时计算

理想数据湖具备能力丨扩展元数据的能力 支持 ACID 事务 支持 DML 操作 构建和维护模式的灵活性

网友分享数栈君 发表了文章 • 0 个评论 • 24 次浏览 • 2023-02-14 14:13 • 来自相关话题

介绍从数据库到数据仓库,最后到数据湖[1],随着数据量和数据源的增加,数据格局正在迅速变化。数据湖市场预计增长近 30%[2],将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。此外从 2022 年数据和人工智能峰会[3]来看,数据... ...查看全部

Flink提交流程&如何debug和跟踪流程(on yarn)

技术共享数栈君 发表了文章 • 0 个评论 • 36 次浏览 • 2023-02-14 14:05 • 来自相关话题

4月20日,袋鼠云数栈技术研发团队工程师兰洋(花名:莫问)为大家直播分享《Flink提交流程&如何debug和跟踪流程(on yarn)》。错过直播的朋友可以钉钉扫描文末的二维码,加入钉钉群回看直播,或者在b站搜索“袋鼠云”观看视频。b站视频网址:ht... ...查看全部

实时开发平台丨Kafka—实时离不开的那个TA

产品交流数栈君 发表了文章 • 0 个评论 • 28 次浏览 • 2023-02-14 14:02 • 来自相关话题

前 言随着技术不断的成熟及市场需求的日益旺盛,实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中,数据采集需要写入到Kafka,数据处理也需要使用到Kafka。今天我们就针对Kafka这个时下主流的消息中间件进行简单的介绍。消息队列:数据流... ...查看全部

数栈优化案例:物流客户 Elasticsearch 集群性能优化

最佳实践小美 发表了文章 • 0 个评论 • 40 次浏览 • 2023-02-01 10:14 • 来自相关话题

一、客户背景客户使用 ES 来进行数据存储、快速查询业务订单记录,但是经常会出现业务高峰期 ES 集群的 cpu 负载、内存使用均较高,查询延迟大,导致前端业务访问出现大量超时的情况,极大影响其客户使用体验。部分监控如下图:1、 集群架构如下:集群节点配置:8... ...查看全部

聊聊数据治理体系和元数据

网友分享小美 发表了文章 • 0 个评论 • 39 次浏览 • 2023-01-31 16:33 • 来自相关话题

一、数据治理体系数据治理体系内容从两个维度来看:1)数据治理难点痛点:数据脉络不清晰、数据汇聚能力不足、数据管控能力薄弱、数据治理体系不完善、开放形式不完善。2)数据治理5个核心:理、聚、管、治、用。数据治理体系主要包含内容有数据标准、元数据、数据建模、数据集... ...查看全部

数栈产品分享:基于 StreamWorks 构建实时大数据处理平台

产品交流小美 发表了文章 • 0 个评论 • 54 次浏览 • 2023-01-31 16:29 • 来自相关话题

2020 年春节期间,一场突如其来的疫情在全国蔓延开来,打破了大家原有的工作生活节奏。疫情期间,大家宅在家就能随时看到实时的大数据疫情地图,可以随时刷到自己当前感兴趣的抖音视频,这一切背后依赖的最重要的技术,就是实时大数据处理技术。现在疫情即将过去,国家提出要... ...查看全部

数栈产品分享:Kafka— 实时离不开的那个 TA

产品交流小美 发表了文章 • 0 个评论 • 35 次浏览 • 2023-01-31 16:25 • 来自相关话题

一、前言随着技术不断的成熟及市场需求的日益旺盛,实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中,数据采集需要写入到 Kafka,数据处理也需要使用到 Kafka。今天我们就针对 Kafka 这个时下主流的消息中间件进行简单的介绍。二、消... ...查看全部

从容器化到资源池化,数栈云原生技术实践探索之路

技术共享小美 发表了文章 • 0 个评论 • 67 次浏览 • 2023-01-04 21:48 • 来自相关话题

在过去的很长一段时间,大数据领域中构建可扩展的分布式应用框架中,Apache Hadoop 占据的是绝对的统治地位。 目前绝大多数大数据平台都是基于 Hadoop 生态构建,使用 YARN 作为核心组件进行资源管理与资源调度,但是这些大数据平台普遍都会存在资源... ...查看全部

温州大学 X 袋鼠云:高等人才教育建设,如何做到 “心中有数”

最佳实践小美 发表了文章 • 0 个评论 • 53 次浏览 • 2023-01-04 21:42 • 来自相关话题

2022 年 4 月 16 日,神十三在东风着陆场预定区域成功着陆。接下来从 5 月开始,我国还将进行 6 次飞行任务,在今年内完成中国空间站的在轨建造。而以目前情况推测,在国际空间站退役后,中国空间站将极可能在相当一段时间内,成为世界唯一一个空间站。网友纷纷... ...查看全部

Flink:未来技术的重要发力点

技术共享小美 发表了文章 • 0 个评论 • 70 次浏览 • 2023-01-03 17:55 • 来自相关话题

随着大数据时代的发展,海量数据和多种业务的实时处理需求激增,比如:实时监控报警系统、实时风控系统、实时推荐系统等,传统的批处理方式和早期的流式处理框架因其自身的局限性,难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。在过去的几年里,从... ...查看全部

开源共建 | 中国移动冯江涛:ChunJun(原FlinkX)在数据入湖中的应用

ChunJun小美 发表了文章 • 0 个评论 • 174 次浏览 • 2022-11-23 10:45 • 来自相关话题

ChunJun(原 FlinkX)是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018 年 4 月,秉承着开源共享的理念,数栈技术团队在 github 上开源了 FlinkX,承蒙各位开发者的合作共建,FlinkX 得到了快速发展。两... ...查看全部

想问一下,有没有人做过ChunJun结合华为大数据平台MRS?

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 75 次浏览 • 2022-12-08 14:33 • 来自相关话题

理想数据湖具备能力丨扩展元数据的能力 支持 ACID 事务 支持 DML 操作 构建和维护模式的灵活性

网友分享数栈君 发表了文章 • 0 个评论 • 24 次浏览 • 2023-02-14 14:13 • 来自相关话题

介绍从数据库到数据仓库,最后到数据湖[1],随着数据量和数据源的增加,数据格局正在迅速变化。数据湖市场预计增长近 30%[2],将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。此外从 2022 年数据和人工智能峰会[3]来看,数据... ...查看全部

Flink提交流程&如何debug和跟踪流程(on yarn)

技术共享数栈君 发表了文章 • 0 个评论 • 36 次浏览 • 2023-02-14 14:05 • 来自相关话题

4月20日,袋鼠云数栈技术研发团队工程师兰洋(花名:莫问)为大家直播分享《Flink提交流程&如何debug和跟踪流程(on yarn)》。错过直播的朋友可以钉钉扫描文末的二维码,加入钉钉群回看直播,或者在b站搜索“袋鼠云”观看视频。b站视频网址:ht... ...查看全部

实时开发平台丨Kafka—实时离不开的那个TA

产品交流数栈君 发表了文章 • 0 个评论 • 28 次浏览 • 2023-02-14 14:02 • 来自相关话题

前 言随着技术不断的成熟及市场需求的日益旺盛,实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中,数据采集需要写入到Kafka,数据处理也需要使用到Kafka。今天我们就针对Kafka这个时下主流的消息中间件进行简单的介绍。消息队列:数据流... ...查看全部

数栈优化案例:物流客户 Elasticsearch 集群性能优化

最佳实践小美 发表了文章 • 0 个评论 • 40 次浏览 • 2023-02-01 10:14 • 来自相关话题

一、客户背景客户使用 ES 来进行数据存储、快速查询业务订单记录,但是经常会出现业务高峰期 ES 集群的 cpu 负载、内存使用均较高,查询延迟大,导致前端业务访问出现大量超时的情况,极大影响其客户使用体验。部分监控如下图:1、 集群架构如下:集群节点配置:8... ...查看全部

聊聊数据治理体系和元数据

网友分享小美 发表了文章 • 0 个评论 • 39 次浏览 • 2023-01-31 16:33 • 来自相关话题

一、数据治理体系数据治理体系内容从两个维度来看:1)数据治理难点痛点:数据脉络不清晰、数据汇聚能力不足、数据管控能力薄弱、数据治理体系不完善、开放形式不完善。2)数据治理5个核心:理、聚、管、治、用。数据治理体系主要包含内容有数据标准、元数据、数据建模、数据集... ...查看全部

数栈产品分享:基于 StreamWorks 构建实时大数据处理平台

产品交流小美 发表了文章 • 0 个评论 • 54 次浏览 • 2023-01-31 16:29 • 来自相关话题

2020 年春节期间,一场突如其来的疫情在全国蔓延开来,打破了大家原有的工作生活节奏。疫情期间,大家宅在家就能随时看到实时的大数据疫情地图,可以随时刷到自己当前感兴趣的抖音视频,这一切背后依赖的最重要的技术,就是实时大数据处理技术。现在疫情即将过去,国家提出要... ...查看全部

数栈产品分享:Kafka— 实时离不开的那个 TA

产品交流小美 发表了文章 • 0 个评论 • 35 次浏览 • 2023-01-31 16:25 • 来自相关话题

一、前言随着技术不断的成熟及市场需求的日益旺盛,实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中,数据采集需要写入到 Kafka,数据处理也需要使用到 Kafka。今天我们就针对 Kafka 这个时下主流的消息中间件进行简单的介绍。二、消... ...查看全部

从容器化到资源池化,数栈云原生技术实践探索之路

技术共享小美 发表了文章 • 0 个评论 • 67 次浏览 • 2023-01-04 21:48 • 来自相关话题

在过去的很长一段时间,大数据领域中构建可扩展的分布式应用框架中,Apache Hadoop 占据的是绝对的统治地位。 目前绝大多数大数据平台都是基于 Hadoop 生态构建,使用 YARN 作为核心组件进行资源管理与资源调度,但是这些大数据平台普遍都会存在资源... ...查看全部

温州大学 X 袋鼠云:高等人才教育建设,如何做到 “心中有数”

最佳实践小美 发表了文章 • 0 个评论 • 53 次浏览 • 2023-01-04 21:42 • 来自相关话题

2022 年 4 月 16 日,神十三在东风着陆场预定区域成功着陆。接下来从 5 月开始,我国还将进行 6 次飞行任务,在今年内完成中国空间站的在轨建造。而以目前情况推测,在国际空间站退役后,中国空间站将极可能在相当一段时间内,成为世界唯一一个空间站。网友纷纷... ...查看全部

Flink:未来技术的重要发力点

技术共享小美 发表了文章 • 0 个评论 • 70 次浏览 • 2023-01-03 17:55 • 来自相关话题

随着大数据时代的发展,海量数据和多种业务的实时处理需求激增,比如:实时监控报警系统、实时风控系统、实时推荐系统等,传统的批处理方式和早期的流式处理框架因其自身的局限性,难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。在过去的几年里,从... ...查看全部