Hadoop偽分布式安裝教程

1.?準(zhǔn)備工作

基于CentOS 7 , jdk-8u152-linux-x64.tar和hadoop-3.1.3.tar環(huán)境搭建，準(zhǔn)備好CentOS7?64位的鏡像，然后在VMware上安裝虛擬機

（1）修改靜態(tài)IP

找到/etc/sysconfig/network-scripts/下的ifcfg-ens33配置文件

不是root用戶命令需要加上sudo，該輸密碼輸密碼

?

?

Tips:

IPADDR和GATEWAY在此處看，另外，GATEWAY一般就是最后一個數(shù)字改成2，IPADDR的子網(wǎng)ip最后一個勿用0，1，2之類的，最后一個范圍在3-128都可以

?

重啟網(wǎng)絡(luò)服務(wù)

centos7的網(wǎng)卡重啟方法：systemctl restart network

?

因為不是root，該輸密碼輸密碼

Ping一下百度，看看網(wǎng)絡(luò)是否接通

?

（2）關(guān)閉防火墻?----------------------------》如果要驗證密碼，輸入即可

查看防火墻狀態(tài)： systemctl status firewalld.service

執(zhí)行關(guān)閉命令： systemctl stop firewalld.service

執(zhí)行開機禁用防火墻自啟命令 ： systemctl disable firewalld.service

?

2.?解壓并配置環(huán)境變量

完成上面的操作后，可以借助第三方工具連接虛擬機，提高工作效率，比如xshell，mobaxter

將文件上傳至虛擬機(我用的mobaxter可以直接拉進去)

?

?

（1）將 ?jdk-8u152-linux-x64.tar和hadoop-3.1.3.tar上傳在虛擬機中，將jdk與hadoop解壓到指定目錄（我是/usr/local），并改名為jdk，hadoop

?

改名

?

（2）配置環(huán)境變量 /etc/profile

?

?

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

?

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

?

刷新環(huán)境變量

source /etc/profile

?

?

3.?修改主機名

（1）hostnamectl set-hostname 主機名，該輸密碼輸密碼，推薦reboot重啟，或者使用bash，刷新一下

?

（2）修改IP映射

使用 vi 編輯器打開 /etc/hosts 文件，在文件尾部添加內(nèi)容，格式：IP地址 主機名（中間用空格分隔），保存退出

?

?

?

設(shè)置完成后，重啟網(wǎng)路服務(wù):?systemctl restart network

使用 ping 命令 ping 一下主機名，如果可以ping 通，表示設(shè)置成功。

?

（3）配置免密登錄

?

?

執(zhí)行完上面兩條命令后，就可以實現(xiàn)免密碼登錄到本機。驗證方式如下:

?

?

4.?配置hadoop文件?（此處文件中，所有的lzy均為主機名，根據(jù)自己的修改，不然最后會報錯）

1）hadoop-env.sh?大概55行

?

?

2）core-site.xml

?

????????????????

???????????????fs.defaultFS

??????????????hdfs://lzy:9000

???????

????????????hadoop.tmp.dir

???????????/usr/local/hadoop/tmp

??

?

?

?

3）hdfs-site.xml

?

?????

???????????dfs.replication

???????????1

??????

???????????????dfs.namenode.name.dir

???????????????file:/usr/local/hadoop/tmp/dfs/name

??????

?????????????dfs.datanode.data.dir

?????????????file:/usr/local/hadoop/tmp/dfs/data

??????

??dfs.http.address

??lzy:50070

?

?

4）mapred-site.xml

?

??

????mapreduce.framework.name

????yarn

??

?

5）yarn-site.xml

?

??????

??????

????????????????yarn.resourcemanager.hostname

????????????????lzy

??????

?

?????????????yarn.nodemanager.aux-services

??????????????mapreduce_shuffle

?

??????????yarn.resourcemanager.webapp.address

???????????lzy:18088

?

?

?

?

5.?格式化HDFS

Hadoop配置完成后，第一次使用Hadoop平臺需要先格式化文件系統(tǒng)。

進入到Hadoop安裝目錄下的bin目錄里，執(zhí)行:./hdfs namenode -format

?

6.?啟動并驗證

因為hadoop是3.x.x版本，50070端口除非設(shè)置了，否則web UI接口輸入9870

start-all.sh

另:配置文件中所寫的文件夾，最好去對應(yīng)目錄創(chuàng)建，沒創(chuàng)建可能后續(xù)使用出問題