1.ResourceManager 核心功能YARN 通过分配资源和调度任务来执行所有处理活动。 Apache Hadoop YARN 架构由以下主要组件组成：资源管理器（Resource Manager）：在主守护进程上运行并管理集群中的资源分配。节点管理器...
数栈君 发表于2024-12-05 18:24
897
0
1. zookeeper下载zookeeper官网链接: https://zookeeper.apache.org/进入到其官网后，选择download下载对应的zookeeper版本即可（我这里以3.8.1为例子）。这里直接选择Http的对应链接下载即可点击...
蓝袋鼠 发表于2024-12-05 17:29
1006
0
docker run hello-world时超时告警 跟着官方文档进行docker安装时，测试docker是否运行成功执行docker run hello-world时，结果和别人的不一样正常情况：我们的：Unable to find image 'hell...
蓝袋鼠 发表于2024-12-05 17:14
2725
0
“在企业中，中台是为了更好地整合后端的计算、业务、数据资源，更敏捷、高效地为前台服务而生，在高校中同样如此。”在教育信息化快速发展、国家政策扶持及庞大市场需求的多重因素推动下，我国教育信息化整体市场规模从2017年的4542亿元增至2022年的10157亿元，...
数栈君 发表于2024-12-05 17:14
481
0
湖仓一体（Lakehouse）出现之前，数据仓库和数据湖堪称数据领域的两大“顶流”。打个比方，要是把数据仓库比作一座大型图书馆，那其中的数据就如同馆内藏书，需要按照规范放好，借阅者只需依照类别索引，便能精准找到想要的信息。反观数据湖，更像是一个大型仓库，海纳百...
数栈君 发表于2024-12-05 17:06
345
0
事务RabbitMQ是基于AMQP协议实现的,该协议实现了事务机制,因此RabbitMQ也支持事务机制.SpringAMQP也提供了对事务相关的操作.RabbitMQ事务允许开发者确保消息的发送和接收是原子性的,要么全部成功,要么全部失败.何为原子性（面试重点...
蓝袋鼠 发表于2024-12-05 17:03
372
0
一.TTLTTL(TimetoLive,过期时间),即过期时间.RabbitMQ可以对消息和队列设置TTL.它代表消息的存活时间。当一条消息被发送到 RabbitMQ 队列后，TTL 可以限制消息在队列中能够存活的最长时间。一旦消息在队列中的存活时间超过了 T...
蓝袋鼠 发表于2024-12-05 16:45
406
0
前言：前期讲了RabbitMQ的概念和应⽤,RabbitMQ实现了AMQP0-9-1规范的许多扩展,在RabbitMQ官⽹上,也给⼤家介绍了RabbitMQ的⼀些特性,我们挑⼀些重要的且常⽤的给⼤家讲⼀下Rabbitmq官网一.消息确认机制 ⽣产者发送消息之后...
蓝袋鼠 发表于2024-12-04 17:47
296
0
五 Yarn的命令yarn top 类似于Linux的top命令，查看正在运行的程序资源占用情况。yarn queue -status root.default查看指定队列使用情况，下文会讲解任务队列yarn application-list#通过任务的状态...
数栈君 发表于2024-12-04 14:27
589
0
搭建好hadoop的分布式文件系统(HDFS), 在HDFS上存储数据，将数据进行切块，分布在不同的数据节点进行存储。这些解决了存储问题，下面开始来解决将这些节点上存储的数据文件来做计算。谷歌发表的一篇论文《GFS》，Nutch团队对这个论文使用Java进行了...
数栈君 发表于2024-12-04 14:02
263
0
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
