一.TTLTTL(TimetoLive,过期时间),即过期时间.RabbitMQ可以对消息和队列设置TTL.它代表消息的存活时间。当一条消息被发送到 RabbitMQ 队列后，TTL 可以限制消息在队列中能够存活的最长时间。一旦消息在队列中的存活时间超过了 T...
蓝袋鼠 发表于2024-12-05 16:45
260
0
前言：前期讲了RabbitMQ的概念和应⽤,RabbitMQ实现了AMQP0-9-1规范的许多扩展,在RabbitMQ官⽹上,也给⼤家介绍了RabbitMQ的⼀些特性,我们挑⼀些重要的且常⽤的给⼤家讲⼀下Rabbitmq官网一.消息确认机制 ⽣产者发送消息之后...
蓝袋鼠 发表于2024-12-04 17:47
202
0
五 Yarn的命令yarn top 类似于Linux的top命令，查看正在运行的程序资源占用情况。yarn queue -status root.default查看指定队列使用情况，下文会讲解任务队列yarn application-list#通过任务的状态...
数栈君 发表于2024-12-04 14:27
374
0
搭建好hadoop的分布式文件系统(HDFS), 在HDFS上存储数据，将数据进行切块，分布在不同的数据节点进行存储。这些解决了存储问题，下面开始来解决将这些节点上存储的数据文件来做计算。谷歌发表的一篇论文《GFS》，Nutch团队对这个论文使用Java进行了...
数栈君 发表于2024-12-04 14:02
207
0
前言：经过上面俩章学习，我们已经知道Rabbit的使用方式RabbitMQ 七种工作模式介绍_rabbitmq 工作模式-CSDN博客RabbitMQ的工作队列在Spring Boot中实现（详解常⽤的⼯作模式）-CSDN博客作为⼀个消息队列,RabbitMQ...
蓝袋鼠 发表于2024-12-03 17:52
174
0
上文着重介绍RabbitMQ 七种工作模式介绍RabbitMQ 七种工作模式介绍_rabbitmq 工作模式-CSDN博客本篇讲解如何在Spring环境下进⾏RabbitMQ的开发.（只演⽰部分常⽤的⼯作模式）引⼊依赖 在pom.xml 可以导入依赖<!...
蓝袋鼠 发表于2024-12-03 17:31
196
0
1 yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。1.1 Yarn基础架构 YARN主要由Res...
数栈君 发表于2024-12-03 17:08
305
0
YARN 简介YARN 是Yet Another Resource Negotiator的缩写。YARN是第二代MapReduce,即MRv2,是在第一代MapReduce基础上演变而来的,主要是为了解决原始Hadoop扩展性较差,不支持多计算框架而提出的;通...
数栈君 发表于2024-12-03 17:00
259
0
前言DolphinScheduler是一个分布式易用的大数据工作流调度系统，提供了可视化的web操作界面，帮助用户快速、高效地构建和调度大数据任务；支持分布式部署和单机部署两种方式。单机部署适用于小规模使用场景，可以在一台机器上快速搭建并运行。本文将介绍如何在...
蓝袋鼠 发表于2024-11-29 15:49
908
0
pyspark sql functionsforall 判断array是否满足alldf = spark.createDataFrame( [(1, ["bar"]), (2, ["foo", "bar"]), (3, ["foobar", "foo"]...
蓝袋鼠 发表于2024-11-29 14:44
233
0
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
