Lakehouse 架构下的元数据“大一统”管理深度解析

重磅！袋鼠云入围2024 年度科技 CEO 及高成长企业榜单

公司动态 • 数栈君发表了文章 • 0 个评论 • 148 次浏览 • 2025-04-11 15:40 • 来自相关话题

近日，资深产业信息服务平台【第一新声】基于【天眼查】大数据优势，经过长达数月的深入调研与访谈，重磅发布《2024年度科技行业高成长企业榜》。本次榜单延续了历年年度高科技高成长企业榜单的优势，持续挖掘被资本市场关注、深受客户与市场认可的高科技、高成长企业，聚焦具... ...查看全部

乘势而上，跃起新章丨袋鼠云搬新家啦

公司动态 • 数栈君发表了文章 • 0 个评论 • 792 次浏览 • 2024-12-06 14:39 • 来自相关话题

在2024年的最后一个月袋鼠云即将成立九周年之际袋鼠云办了一件大事我们搬入了新家——阿里巴巴数字生态创新园我们希望在这汇聚创新与智慧的地方与大家共同探索企业数字化转型的无限可能乘Data+AI之势，跃袋鼠云新章🏢杭州市余杭区五常街道阿里巴巴数字生态创新园4号楼... ...查看全部

RabbitMQ 七种工作模式介绍（下）

网友分享 • 数栈君发表了文章 • 0 个评论 • 271 次浏览 • 2024-12-06 10:20 • 来自相关话题

5.Topics(通配符模式)路由模式的升级版, 在routingKey的基础上,增加了通配符的功能, 使之更加灵活.Topics和Routing的基本原理相同，即：⽣产者将消息发给交换机，交换机根据RoutingKey将消息转发给与RoutingKey匹配的... ...查看全部

RabbitMQ 七种工作模式介绍(上)

网友分享 • 数栈君发表了文章 • 0 个评论 • 219 次浏览 • 2024-12-06 10:13 • 来自相关话题

RabbitMQ 共提供了7种⼯作模式供我们进⾏消息传递,接下来一一介绍它的实现与目的1.简单模式队列P为生产者发送信息中间（消息队列）C作为消费者直接消费消息队列里面的内容特点:⼀个⽣产者P，⼀个消费者C,消息只能被消费⼀次.也称为点对点(Point-... ...查看全部

Spark自定义RDD实现：高效读取HDFS数据（下）

知识百科 • 数栈君发表了文章 • 0 个评论 • 383 次浏览 • 2024-12-06 10:00 • 来自相关话题

5. RDD数据分区策略5.1 分区策略的基本概念5.1.1 分区的目的和作用在分布式计算框架中，分区是数据处理的关键概念之一。分区的核心目的在于通过将数据分布到多个节点上，实现数据处理的并行化，提高数据处理的速度和效率。在Apache Spark中，RDD（... ...查看全部

Spark自定义RDD实现：高效读取HDFS数据(上)

网友分享 • 数栈君发表了文章 • 0 个评论 • 220 次浏览 • 2024-12-06 09:54 • 来自相关话题

简介：在Spark编程中，RDD是处理大规模数据集的关键组件，对于特定需求，如优化数据倾斜，可能需要自定义RDD来提高效率。本文提供了示例代码"自定义RDD-从HDFS读取数据代码.zip"，深入探讨了如何通过实现自定义迭代器和RDD，从HDFS高效读取数据。... ...查看全部

yarn：终极包管理器指南 - 提高您的项目效率和性能

网友分享 • 数栈君发表了文章 • 0 个评论 • 591 次浏览 • 2024-12-05 18:29 • 来自相关话题

一、介绍1.1 什么是YarnYarn是一个由Facebook开发的包管理工具，用于有效地管理项目的依赖关系。它旨在解决npm的一些限制和性能问题，为 JavaScript 包的管理提供了更可靠的解决方案。1.2 Yarn的优势快速：Yarn可以并行地下载依赖... ...查看全部

【YARN】详解 YARN 中的 ResourceManager

网友分享 • 数栈君发表了文章 • 0 个评论 • 863 次浏览 • 2024-12-05 18:24 • 来自相关话题

1.ResourceManager 核心功能YARN 通过分配资源和调度任务来执行所有处理活动。 Apache Hadoop YARN 架构由以下主要组件组成：资源管理器（Resource Manager）：在主守护进程上运行并管理集群中的资源分配。节点管理器... ...查看全部

产品交流 • 数栈君发表了文章 • 0 个评论 • 326 次浏览 • 2024-12-05 17:06 • 来自相关话题

湖仓一体（Lakehouse）出现之前，数据仓库和数据湖堪称数据领域的两大“顶流”。打个比方，要是把数据仓库比作一座大型图书馆，那其中的数据就如同馆内藏书，需要按照规范放好，借阅者只需依照类别索引，便能精准找到想要的信息。反观数据湖，更像是一个大型仓库，海纳百... ...查看全部