实时计算

实时计算

理想数据湖具备能力丨扩展元数据的能力 支持 ACID 事务 支持 DML 操作 构建和维护模式的灵活性

网友分享 • 数栈君 发表了文章 • 0 个评论 • 24 次浏览 • 2023-02-14 14:13 • 来自相关话题

介绍从数据库到数据仓库，最后到数据湖[1]，随着数据量和数据源的增加，数据格局正在迅速变化。数据湖市场预计增长近 30%[2]，将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。此外从 2022 年数据和人工智能峰会[3]来看，数据... ...查看全部

Flink提交流程&如何debug和跟踪流程（on yarn）

技术共享 • 数栈君 发表了文章 • 0 个评论 • 36 次浏览 • 2023-02-14 14:05 • 来自相关话题

4月20日，袋鼠云数栈技术研发团队工程师兰洋（花名：莫问）为大家直播分享《Flink提交流程&如何debug和跟踪流程（on yarn）》。错过直播的朋友可以钉钉扫描文末的二维码，加入钉钉群回看直播，或者在b站搜索“袋鼠云”观看视频。b站视频网址：ht... ...查看全部

实时开发平台丨Kafka—实时离不开的那个TA

产品交流 • 数栈君 发表了文章 • 0 个评论 • 28 次浏览 • 2023-02-14 14:02 • 来自相关话题

前 言随着技术不断的成熟及市场需求的日益旺盛，实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中，数据采集需要写入到Kafka，数据处理也需要使用到Kafka。今天我们就针对Kafka这个时下主流的消息中间件进行简单的介绍。消息队列：数据流... ...查看全部

数栈优化案例：物流客户 Elasticsearch 集群性能优化

最佳实践 • 小美 发表了文章 • 0 个评论 • 40 次浏览 • 2023-02-01 10:14 • 来自相关话题

一、客户背景客户使用 ES 来进行数据存储、快速查询业务订单记录，但是经常会出现业务高峰期 ES 集群的 cpu 负载、内存使用均较高，查询延迟大，导致前端业务访问出现大量超时的情况，极大影响其客户使用体验。部分监控如下图：1、 集群架构如下：集群节点配置：8... ...查看全部

聊聊数据治理体系和元数据

网友分享 • 小美 发表了文章 • 0 个评论 • 39 次浏览 • 2023-01-31 16:33 • 来自相关话题

一、数据治理体系数据治理体系内容从两个维度来看：1）数据治理难点痛点：数据脉络不清晰、数据汇聚能力不足、数据管控能力薄弱、数据治理体系不完善、开放形式不完善。2）数据治理5个核心：理、聚、管、治、用。数据治理体系主要包含内容有数据标准、元数据、数据建模、数据集... ...查看全部

数栈产品分享：基于 StreamWorks 构建实时大数据处理平台

产品交流 • 小美 发表了文章 • 0 个评论 • 54 次浏览 • 2023-01-31 16:29 • 来自相关话题

2020 年春节期间，一场突如其来的疫情在全国蔓延开来，打破了大家原有的工作生活节奏。疫情期间，大家宅在家就能随时看到实时的大数据疫情地图，可以随时刷到自己当前感兴趣的抖音视频，这一切背后依赖的最重要的技术，就是实时大数据处理技术。现在疫情即将过去，国家提出要... ...查看全部

数栈产品分享：Kafka— 实时离不开的那个 TA

产品交流 • 小美 发表了文章 • 0 个评论 • 35 次浏览 • 2023-01-31 16:25 • 来自相关话题

一、前言随着技术不断的成熟及市场需求的日益旺盛，实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中，数据采集需要写入到 Kafka，数据处理也需要使用到 Kafka。今天我们就针对 Kafka 这个时下主流的消息中间件进行简单的介绍。二、消... ...查看全部

从容器化到资源池化，数栈云原生技术实践探索之路

技术共享 • 小美 发表了文章 • 0 个评论 • 67 次浏览 • 2023-01-04 21:48 • 来自相关话题

在过去的很长一段时间，大数据领域中构建可扩展的分布式应用框架中，Apache Hadoop 占据的是绝对的统治地位。 目前绝大多数大数据平台都是基于 Hadoop 生态构建，使用 YARN 作为核心组件进行资源管理与资源调度，但是这些大数据平台普遍都会存在资源... ...查看全部

温州大学 X 袋鼠云：高等人才教育建设，如何做到 “心中有数”

最佳实践 • 小美 发表了文章 • 0 个评论 • 53 次浏览 • 2023-01-04 21:42 • 来自相关话题

2022 年 4 月 16 日，神十三在东风着陆场预定区域成功着陆。接下来从 5 月开始，我国还将进行 6 次飞行任务，在今年内完成中国空间站的在轨建造。而以目前情况推测，在国际空间站退役后，中国空间站将极可能在相当一段时间内，成为世界唯一一个空间站。网友纷纷... ...查看全部

Flink：未来技术的重要发力点

技术共享 • 小美 发表了文章 • 0 个评论 • 70 次浏览 • 2023-01-03 17:55 • 来自相关话题

随着大数据时代的发展，海量数据和多种业务的实时处理需求激增，比如：实时监控报警系统、实时风控系统、实时推荐系统等，传统的批处理方式和早期的流式处理框架因其自身的局限性，难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。在过去的几年里，从... ...查看全部
更多...

开源共建 | 中国移动冯江涛：ChunJun（原FlinkX）在数据入湖中的应用

ChunJun • 小美 发表了文章 • 0 个评论 • 174 次浏览 • 2022-11-23 10:45 • 来自相关话题

ChunJun（原 FlinkX）是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018 年 4 月，秉承着开源共享的理念，数栈技术团队在 github 上开源了 FlinkX，承蒙各位开发者的合作共建，FlinkX 得到了快速发展。两... ...查看全部
没有更多了...

想问一下，有没有人做过ChunJun结合华为大数据平台MRS？

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 75 次浏览 • 2022-12-08 14:33 • 来自相关话题

没有更多了...

理想数据湖具备能力丨扩展元数据的能力 支持 ACID 事务 支持 DML 操作 构建和维护模式的灵活性

网友分享 • 数栈君 发表了文章 • 0 个评论 • 24 次浏览 • 2023-02-14 14:13 • 来自相关话题

介绍从数据库到数据仓库，最后到数据湖[1]，随着数据量和数据源的增加，数据格局正在迅速变化。数据湖市场预计增长近 30%[2]，将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。此外从 2022 年数据和人工智能峰会[3]来看，数据... ...查看全部

Flink提交流程&如何debug和跟踪流程（on yarn）

技术共享 • 数栈君 发表了文章 • 0 个评论 • 36 次浏览 • 2023-02-14 14:05 • 来自相关话题

4月20日，袋鼠云数栈技术研发团队工程师兰洋（花名：莫问）为大家直播分享《Flink提交流程&如何debug和跟踪流程（on yarn）》。错过直播的朋友可以钉钉扫描文末的二维码，加入钉钉群回看直播，或者在b站搜索“袋鼠云”观看视频。b站视频网址：ht... ...查看全部

实时开发平台丨Kafka—实时离不开的那个TA

产品交流 • 数栈君 发表了文章 • 0 个评论 • 28 次浏览 • 2023-02-14 14:02 • 来自相关话题

前 言随着技术不断的成熟及市场需求的日益旺盛，实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中，数据采集需要写入到Kafka，数据处理也需要使用到Kafka。今天我们就针对Kafka这个时下主流的消息中间件进行简单的介绍。消息队列：数据流... ...查看全部

数栈优化案例：物流客户 Elasticsearch 集群性能优化

最佳实践 • 小美 发表了文章 • 0 个评论 • 40 次浏览 • 2023-02-01 10:14 • 来自相关话题

一、客户背景客户使用 ES 来进行数据存储、快速查询业务订单记录，但是经常会出现业务高峰期 ES 集群的 cpu 负载、内存使用均较高，查询延迟大，导致前端业务访问出现大量超时的情况，极大影响其客户使用体验。部分监控如下图：1、 集群架构如下：集群节点配置：8... ...查看全部

聊聊数据治理体系和元数据

网友分享 • 小美 发表了文章 • 0 个评论 • 39 次浏览 • 2023-01-31 16:33 • 来自相关话题

一、数据治理体系数据治理体系内容从两个维度来看：1）数据治理难点痛点：数据脉络不清晰、数据汇聚能力不足、数据管控能力薄弱、数据治理体系不完善、开放形式不完善。2）数据治理5个核心：理、聚、管、治、用。数据治理体系主要包含内容有数据标准、元数据、数据建模、数据集... ...查看全部

数栈产品分享：基于 StreamWorks 构建实时大数据处理平台

产品交流 • 小美 发表了文章 • 0 个评论 • 54 次浏览 • 2023-01-31 16:29 • 来自相关话题

2020 年春节期间，一场突如其来的疫情在全国蔓延开来，打破了大家原有的工作生活节奏。疫情期间，大家宅在家就能随时看到实时的大数据疫情地图，可以随时刷到自己当前感兴趣的抖音视频，这一切背后依赖的最重要的技术，就是实时大数据处理技术。现在疫情即将过去，国家提出要... ...查看全部

数栈产品分享：Kafka— 实时离不开的那个 TA

产品交流 • 小美 发表了文章 • 0 个评论 • 35 次浏览 • 2023-01-31 16:25 • 来自相关话题

一、前言随着技术不断的成熟及市场需求的日益旺盛，实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中，数据采集需要写入到 Kafka，数据处理也需要使用到 Kafka。今天我们就针对 Kafka 这个时下主流的消息中间件进行简单的介绍。二、消... ...查看全部

从容器化到资源池化，数栈云原生技术实践探索之路

技术共享 • 小美 发表了文章 • 0 个评论 • 67 次浏览 • 2023-01-04 21:48 • 来自相关话题

在过去的很长一段时间，大数据领域中构建可扩展的分布式应用框架中，Apache Hadoop 占据的是绝对的统治地位。 目前绝大多数大数据平台都是基于 Hadoop 生态构建，使用 YARN 作为核心组件进行资源管理与资源调度，但是这些大数据平台普遍都会存在资源... ...查看全部

温州大学 X 袋鼠云：高等人才教育建设，如何做到 “心中有数”

最佳实践 • 小美 发表了文章 • 0 个评论 • 53 次浏览 • 2023-01-04 21:42 • 来自相关话题

2022 年 4 月 16 日，神十三在东风着陆场预定区域成功着陆。接下来从 5 月开始，我国还将进行 6 次飞行任务，在今年内完成中国空间站的在轨建造。而以目前情况推测，在国际空间站退役后，中国空间站将极可能在相当一段时间内，成为世界唯一一个空间站。网友纷纷... ...查看全部

Flink：未来技术的重要发力点

技术共享 • 小美 发表了文章 • 0 个评论 • 70 次浏览 • 2023-01-03 17:55 • 来自相关话题

随着大数据时代的发展，海量数据和多种业务的实时处理需求激增，比如：实时监控报警系统、实时风控系统、实时推荐系统等，传统的批处理方式和早期的流式处理框架因其自身的局限性，难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。在过去的几年里，从... ...查看全部
没有更多了...
热门产品
数雁EasyDigit 数栈DTinsight 数驹DTengine 易知微EasyV
解决方案
政务解决方案 港口解决方案 基金解决方案 制造解决方案 保险解决方案 高校解决方案 证券解决方案 文旅解决方案 银行解决方案 大宗商品解决方案
快速入口
合作与生态 开源社区 Github
联系我们

合作咨询 market@dtstack.com

联系电话 400-002-1024

总部地址 杭州市余杭区余杭塘路2301号海智中心8号楼

袋鼠云官方订阅号
袋鼠云官方订阅号
热门搜索：
数据中台 企业数据中台 金融数据中台 离线数据中台 数据中台公司 一站式数据中台 数据中台开发 一站式数据开发 数据中台解决方案 大数据分析 数据分析平台 新基建 大数据开发 大数据开发平台 数据化转型解决方案 信创 数据可视化 数字孪生 可视化大屏 数字化转型

友情链接： 易知微 云掣

@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号