博客 Hadoop伪分布式配置教程-1

Hadoop伪分布式配置教程-1

   数栈君   发表于 2023-10-11 15:38  169  0

一、创建Hadoop用户
1.创建Hadoop用户
输入如下命令创建新用户 :

sudo useradd -m hadoop -s /bin/bash
这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。



接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码:

sudo passwd hadoop


可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:

sudo adduser hadoop sudo


2.更换用户
关闭终端,注销当前用户,选择Hadoop用户登录





二、更新Apt,安装SSH,配置SSH无密码登录
1.更新Apt
用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。按 Ctrl+Alt+T打开终端窗口,执行如下命令:

sudo apt-get update


2.安装SSH
安装 SSH server,执行如下命令:

sudo apt-get install openssh-server
输入“Y”,按回车继续安装



安装后,可以使用如下命令登陆本机:

ssh localhost
输入“yes”,后输入密码按回车即可

3.配置SSH无密码登陆
首先输入以下代码:

exit
退出刚才的 ssh localhost



输入以下代码:

cd ~/.ssh/
进入到ssh目录中

输入以下代码:

ssh-keygen -t rsa
利用ssh-keygen生成密匙

出现提示后,按回车键即可



输入以下代码:

cat ./id_rsa.pub >> ./authorized_keys
将密钥加入到授权中

此时再用ssh localhost命令,无需输入密码就可以直接登陆了

ssh localhost


三、安装Java环境
输入以下代码,安装Openjdk-8-jdk

sudo apt-get install openjdk-8-jdk
输入“Y”,按回车继续安装



输入以下代码,查看已安装的Java版本

java -version


输入以下代码,配置Java环境文件

gedit ~/.bashrc
在文件最前面添加如下单独一行(注意,等号“=”前后不能有空格),然后保存退出:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64


接下来,要让环境变量立即生效,请执行如下代码:

source ~/.bashrc


执行上述命令后,可以检验一下是否设置正确:

echo $JAVA_HOME
java -version
$JAVA_HOME/bin/java -version




免责申明:


本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群