hdfs

hdfs

Hadoop 存储占用分析命令,查看 Hdfs 文件夹占用大小

知识百科数栈君 发表了文章 • 0 个评论 • 26 次浏览 • 2023-09-15 10:33 • 来自相关话题

恢复HDFS上误删除的文件

网友分享数栈君 发表了文章 • 0 个评论 • 38 次浏览 • 2023-09-14 10:50 • 来自相关话题

1. 通过回收站恢复HDFS 为我们提供了垃圾箱的功能,也就是说当我们执行 hadoop fs -rmr xxx 命令之后,文件并不是马上被删除,而是会被移动到 执行这个操作用户的 .Trash 目录下,等到一定的时间后才会执行真正的删除操作。看下面的例子:$... ...查看全部

大数据存储系统HDFS和对象存储(OOS/S3)的比较

知识百科数栈君 发表了文章 • 0 个评论 • 53 次浏览 • 2023-08-09 10:49 • 来自相关话题

HDFS文件权限管理

网友分享数栈君 发表了文章 • 0 个评论 • 54 次浏览 • 2023-08-09 10:43 • 来自相关话题

实验环境Linux Ubuntu 16.04前提条件:1)Java 运行环境部署完成2)Hadoop 的单点部署完成上述前提条件,我们已经为你准备就绪了。实验内容在上述前提条件下,学习HDFS文件权限管理操作。实验步骤1.点击桌面的"命令行终端",打开新的命令... ...查看全部

HDFS常用命令

知识百科数栈君 发表了文章 • 0 个评论 • 39 次浏览 • 2023-08-04 10:09 • 来自相关话题

大数据存储与处理技术探索:Hadoop HDFS与Amazon S3的无尽可能性

网友分享数栈君 发表了文章 • 0 个评论 • 86 次浏览 • 2023-07-03 13:58 • 来自相关话题

大数据时代带来了数据规模的爆炸性增长,对于高效存储和处理海量数据的需求也日益迫切。本文将探索两种重要的大数据存储与处理技术:Hadoop HDFS和Amazon S3。我们将深入了解它们的特点、架构以及如何使用它们来构建可扩展的大数据解决方案。本文还将提供代码... ...查看全部

大数据:HDFS的Shell常用命令操作

网友分享数栈君 发表了文章 • 0 个评论 • 81 次浏览 • 2023-06-07 10:51 • 来自相关话题

一 HDFS的Shell介绍HDFS允许用户数据组织成文件和文件夹的方式,它提供一个叫DFSShell的接口,使用户可以和HDFS中的数据交互。命令集的语法跟其他用户熟悉的shells(bash,csh)相似。Shell在计算机科学中俗称“壳”,是提供给使用者... ...查看全部

HDFS架构演进和HDFS源码图解剖析

网友分享数栈君 发表了文章 • 0 个评论 • 102 次浏览 • 2023-06-02 16:10 • 来自相关话题

Hadoop简介Hadoop到目前为止发展已经有10余年,版本经过了无数次的更新迭代,目前业内大家把Hadoop大的 版本分为Hadoop1,hadoop2,Hadoop3三个版本。Hadoop1简介Hadoop1版本刚出来的时候是为了解决两个问题:一个是海量... ...查看全部

Hadoop HDFS的存储机制(读写流程)是怎样的?

网友分享数栈君 发表了文章 • 0 个评论 • 110 次浏览 • 2023-06-02 16:09 • 来自相关话题

NameNode也称为Master,负责管理整个文件系统元数据,是HDFS的核心;DataNode也称为Slave,负责管理具体文件数据块存储;Secondary NameNode协助NameNode进行元数据的备份。HDFS的内部工作机制对客户端保持透明,客... ...查看全部

hdfs集群的扩容和缩容怎么处理?

网友分享数栈君 发表了文章 • 0 个评论 • 111 次浏览 • 2023-06-02 16:07 • 来自相关话题

1、背景当我们的hadoop集群运行了一段时间之后,原有的数据节点的容量已经不能满足我们的存储了,这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。2、集群黑白名单在hdfs集群中是存在黑名单和白名单的。黑名单... ...查看全部

袋鼠云大数据基础平台EasyMR正式上线,助力企业构建便捷、智能、高效的“数据底座”

产品交流数栈君 发表了文章 • 0 个评论 • 351 次浏览 • 2022-12-08 14:14 • 来自相关话题

7月28日,在袋鼠云2022产品发布会上,袋鼠云技术负责人思枢正式宣布旗下产品「大数据基础平台EasyMR」发布。EasyMR是袋鼠云自研的大数据基础平台,提供Hadoop、Hive、Spark、Trino、HBase、Kafka等组件,完全兼容Apache开... ...查看全部

Taier的hdfs数据同步现在是不能用吗?

回复

Taier群内解答 回复了问题 • 1 人关注 • 1 个回复 • 286 次浏览 • 2022-12-12 18:39 • 来自相关话题

Hadoop 存储占用分析命令,查看 Hdfs 文件夹占用大小

知识百科数栈君 发表了文章 • 0 个评论 • 26 次浏览 • 2023-09-15 10:33 • 来自相关话题

恢复HDFS上误删除的文件

网友分享数栈君 发表了文章 • 0 个评论 • 38 次浏览 • 2023-09-14 10:50 • 来自相关话题

1. 通过回收站恢复HDFS 为我们提供了垃圾箱的功能,也就是说当我们执行 hadoop fs -rmr xxx 命令之后,文件并不是马上被删除,而是会被移动到 执行这个操作用户的 .Trash 目录下,等到一定的时间后才会执行真正的删除操作。看下面的例子:$... ...查看全部

大数据存储系统HDFS和对象存储(OOS/S3)的比较

知识百科数栈君 发表了文章 • 0 个评论 • 53 次浏览 • 2023-08-09 10:49 • 来自相关话题

HDFS文件权限管理

网友分享数栈君 发表了文章 • 0 个评论 • 54 次浏览 • 2023-08-09 10:43 • 来自相关话题

实验环境Linux Ubuntu 16.04前提条件:1)Java 运行环境部署完成2)Hadoop 的单点部署完成上述前提条件,我们已经为你准备就绪了。实验内容在上述前提条件下,学习HDFS文件权限管理操作。实验步骤1.点击桌面的"命令行终端",打开新的命令... ...查看全部

HDFS常用命令

知识百科数栈君 发表了文章 • 0 个评论 • 39 次浏览 • 2023-08-04 10:09 • 来自相关话题

大数据存储与处理技术探索:Hadoop HDFS与Amazon S3的无尽可能性

网友分享数栈君 发表了文章 • 0 个评论 • 86 次浏览 • 2023-07-03 13:58 • 来自相关话题

大数据时代带来了数据规模的爆炸性增长,对于高效存储和处理海量数据的需求也日益迫切。本文将探索两种重要的大数据存储与处理技术:Hadoop HDFS和Amazon S3。我们将深入了解它们的特点、架构以及如何使用它们来构建可扩展的大数据解决方案。本文还将提供代码... ...查看全部

大数据:HDFS的Shell常用命令操作

网友分享数栈君 发表了文章 • 0 个评论 • 81 次浏览 • 2023-06-07 10:51 • 来自相关话题

一 HDFS的Shell介绍HDFS允许用户数据组织成文件和文件夹的方式,它提供一个叫DFSShell的接口,使用户可以和HDFS中的数据交互。命令集的语法跟其他用户熟悉的shells(bash,csh)相似。Shell在计算机科学中俗称“壳”,是提供给使用者... ...查看全部

HDFS架构演进和HDFS源码图解剖析

网友分享数栈君 发表了文章 • 0 个评论 • 102 次浏览 • 2023-06-02 16:10 • 来自相关话题

Hadoop简介Hadoop到目前为止发展已经有10余年,版本经过了无数次的更新迭代,目前业内大家把Hadoop大的 版本分为Hadoop1,hadoop2,Hadoop3三个版本。Hadoop1简介Hadoop1版本刚出来的时候是为了解决两个问题:一个是海量... ...查看全部

Hadoop HDFS的存储机制(读写流程)是怎样的?

网友分享数栈君 发表了文章 • 0 个评论 • 110 次浏览 • 2023-06-02 16:09 • 来自相关话题

NameNode也称为Master,负责管理整个文件系统元数据,是HDFS的核心;DataNode也称为Slave,负责管理具体文件数据块存储;Secondary NameNode协助NameNode进行元数据的备份。HDFS的内部工作机制对客户端保持透明,客... ...查看全部

hdfs集群的扩容和缩容怎么处理?

网友分享数栈君 发表了文章 • 0 个评论 • 111 次浏览 • 2023-06-02 16:07 • 来自相关话题

1、背景当我们的hadoop集群运行了一段时间之后,原有的数据节点的容量已经不能满足我们的存储了,这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。2、集群黑白名单在hdfs集群中是存在黑名单和白名单的。黑名单... ...查看全部