博客 大数据技术基础之部署HBase

大数据技术基础之部署HBase

   数栈君   发表于 2024-11-12 16:43  123  0

文章目的

掌握HBase基础简介及体系架构;
掌握HBase集群安装部署及HBase Shell的一些常用命令的使用;
了解HBase和HDFS及Zookeeper之间的关系。

期望目标

巩固配置SSH免密登录、HDFS、部署HDFS、ZooKeeper、部署ZooKeeper;

部署一个主节点,三个子节点的HBase集群,并引用外部Zookeeper;

进入HBase Shell通过命令练习创建表、插入数据及查询等命令。

操作原理

简介:HBase是基于Hadoop的开源分布式数据库,它以Google的BigTable为原型,设计并实现了具有高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统,它是基于列而不是基于行的模式,适合存储非结构化数据。

体系结构:HBase是一个分布式的数据库,使用Zookeeper管理集群,使用HDFS作为底层存储,它由HMaster和HRegionServer组成,遵从主从服务器架构。HBase将逻辑上的表划分成多个数据块即HRegion,存储在HRegionServer中。HMaster负责管理所有的HRegionServer,它本身并不存储任何数据,而只是存储数据到HRegionServer的映射关系(元数据)。HBase的基本架构如图所示:
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b311832b9077710baaceb727d5f8a791..png


操作环境

云创大数据实验平台:
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/eab83fa81f48de29d4d95f72cf34ce3d..png

Java 版本:jdk1.7.0_79
Hadoop 版本:hadoop-2.7.1
ZooKeeper 版本:zookeeper-3.4.6
HBase 版本:hbase-1.1.2


具体操作内容和步骤

本实验主要演示HBase的安装部署过程,因HBase依赖于HDFS和Zookeeper,所以该实验需要分为四个步骤。

首先,配置SSH无密钥登录(参考【大数据技术基础 | 实验一】配置SSH免密登录)。

其次,安装Hadoop集群(参考【大数据技术基础 | 实验三】HDFS实验:部署HDFS)。

然后,安装Zookeeper集群(参考【大数据技术基础 | 实验五】ZooKeeper实验:部署ZooKeeper)。

最后,修改HBase配置文件,具体内容如下:

(一)验证Hadoop和ZooKeeper已启动

通过jps命令验证Hadoop和ZooKeeper已启动:

jps

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/5226d4b58343eaf9fac6b2a8e99eea2e..png

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b9e623f4eb223e82bd5a5580a3340edc..png

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/fbb1ea1663b4c9801b5997f08bfbc803..png


原文链接:https://blog.csdn.net/Morse_Chen/article/details/143255472

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

《数据资产管理白皮书》下载地址:https://www.dtstack.com/resources/1073/?src=bbs

《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057/?src=bbs

《数据治理行业实践白皮书》下载地址:
https://www.dtstack.com/resources/1001/?src=bbs

《数栈V6.0产品白皮书》下载地址:
https://www.dtstack.com/resources/1004/?src=bbs

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群