搭建好hadoop的分布式文件系统(HDFS), 在HDFS上存储数据，将数据进行切块，分布在不同的数据节点进行存储。这些解决了存储问题，下面开始来解决将这些节点上存储的数据文件来做计算。谷歌发表的一篇论文《GFS》，Nutch团队对这个论文使用Java进行了...
数栈君 发表于2024-12-04 14:02
125
0
前言：经过上面俩章学习，我们已经知道Rabbit的使用方式RabbitMQ 七种工作模式介绍_rabbitmq 工作模式-CSDN博客RabbitMQ的工作队列在Spring Boot中实现（详解常⽤的⼯作模式）-CSDN博客作为⼀个消息队列,RabbitMQ...
蓝袋鼠 发表于2024-12-03 17:52
114
0
上文着重介绍RabbitMQ 七种工作模式介绍RabbitMQ 七种工作模式介绍_rabbitmq 工作模式-CSDN博客本篇讲解如何在Spring环境下进⾏RabbitMQ的开发.（只演⽰部分常⽤的⼯作模式）引⼊依赖 在pom.xml 可以导入依赖<!...
蓝袋鼠 发表于2024-12-03 17:31
127
0
1 yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。1.1 Yarn基础架构 YARN主要由Res...
数栈君 发表于2024-12-03 17:08
157
0
YARN 简介YARN 是Yet Another Resource Negotiator的缩写。YARN是第二代MapReduce,即MRv2,是在第一代MapReduce基础上演变而来的,主要是为了解决原始Hadoop扩展性较差,不支持多计算框架而提出的;通...
数栈君 发表于2024-12-03 17:00
170
0
前言DolphinScheduler是一个分布式易用的大数据工作流调度系统，提供了可视化的web操作界面，帮助用户快速、高效地构建和调度大数据任务；支持分布式部署和单机部署两种方式。单机部署适用于小规模使用场景，可以在一台机器上快速搭建并运行。本文将介绍如何在...
蓝袋鼠 发表于2024-11-29 15:49
403
0
pyspark sql functionsforall 判断array是否满足alldf = spark.createDataFrame( [(1, ["bar"]), (2, ["foo", "bar"]), (3, ["foobar", "foo"]...
蓝袋鼠 发表于2024-11-29 14:44
160
0
熔断策略的概念最早可以追溯到电力系统中的保险丝。当电流过大时，保险丝会自动熔断，以防止电器设备因过载而损坏。这种简单而有效的保护机制为后来软件系统中的熔断策略提供了灵感。在软件系统中，熔断策略的工作原理类似，旨在通过监测服务调用的状态来决定是否允许请求继续发送...
数栈君 发表于2024-11-28 15:29
256
0
pyspark sql functions（1）spark.rangeSpark的range()函数用于生成一个指定范围内的连续整数序列具体来说，range(start, end, step)函数接受三个参数：start：序列的起始值。end：序列的结束值（不...
数栈君 发表于2024-11-28 10:38
243
0
pyspark dataframe Columnalias 重命名列（name）df = spark.createDataFrame( [(2, "Alice"), (5, "Bob")], ["age", "name"])df.select(df.a...
数栈君 发表于2024-11-28 10:30
236
0
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
