1、基礎(chǔ)集群環(huán)境搭建

1.1安裝jdk

a.上傳jdk-8u151-linux-x64.tar.gz

b.解壓到usr目錄下

學(xué)習(xí)

學(xué)習(xí)更多，請(qǐng)點(diǎn)擊：https://www.bilibili.com/video/BV1s64y1i77s

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV17h411U7L7

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1m64y1S7Rx

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1c54y187xn

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1GB4y1A7ak

1.2、修改主機(jī)名稱(chēng)，關(guān)閉防火墻

1、root賬號(hào)下使用命令：hostnamectl set-hostname hadoop02
2、Xshell關(guān)閉連接窗口，重新連接即可更改過(guò)來(lái)
3、關(guān)閉防火墻（CentOS7）

• (1)firewall-cmd --state #查看防火墻狀態(tài)

• (2)systemctl stop firewalld.service #停止firewall

• (3)systemctl disable firewalld.service #禁止firewall開(kāi)機(jī)啟動(dòng)

1.3、添加內(nèi)網(wǎng)域名映射[Centos ip地址靜態(tài)化

1.4、配置免密碼登錄

1、在root登錄狀態(tài)下，輸入命令 ssh-keygen 或者 ssh-keygen -t rsa
2、之后你會(huì)發(fā)現(xiàn)，在/root/.ssh 目錄下生成了公鑰文件

學(xué)習(xí)更多，請(qǐng)點(diǎn)擊：https://www.bilibili.com/video/BV1s64y1i77s

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV17h411U7L7

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1m64y1S7Rx

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1c54y187xn

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1GB4y1A7ak

3、使用一個(gè)簡(jiǎn)單的方式，使用命令：
注：自己也要給自己復(fù)制秘鑰
生產(chǎn)秘鑰的地方 和驗(yàn)證秘鑰的路徑不一樣]
ssh-copy-id hadoop02
建立hadoop01到hadoop02的免密碼登錄

學(xué)習(xí)更多，請(qǐng)點(diǎn)擊：https://www.bilibili.com/video/BV1s64y1i77s

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV17h411U7L7

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1m64y1S7Rx

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1c54y187xn

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1GB4y1A7ak

2、Hadoop集群環(huán)境安裝

2.1、Hadoop版本選擇

1、Apache官方版本：
1.X
2.X 2.6.5 2.7.5 3.0.1
2、商業(yè)發(fā)行版本
提供完善的管理系統(tǒng)，修復(fù)bug可能會(huì)領(lǐng)先于官方版本
Cloudera公司的CDH：5.7.X

2.2、安裝Hadoop

2.2.1、Hadoop偽分布式模式安裝
Hadoop可以在單節(jié)點(diǎn)上以偽分布式的方式運(yùn)行，Hadoop進(jìn)程以分離的Java進(jìn)程來(lái)運(yùn)行，節(jié)點(diǎn)即作為NameNode也作為DataNode，同時(shí)，讀取的是HDFS中的文件。

Hadoop的配置文件位于hadoop-2.7.5/etc/hadoop/文件夾中，偽分布式需要修改兩個(gè)配置文件core-site.xml和hdfs-site.xml（其中hdfs-site.xml用來(lái)配置數(shù)據(jù)塊的副本數(shù)量，對(duì)于偽分布式來(lái)說(shuō)，不管你配置幾個(gè)副本數(shù)量，它始終都只有一個(gè)副本，所以可以不用管）。Hadoop分配置文件是xml格式，每個(gè)配置文件以聲明property的name和value的方式來(lái)實(shí)現(xiàn)

學(xué)習(xí)更多，請(qǐng)點(diǎn)擊：https://www.bilibili.com/video/BV1s64y1i77s

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV17h411U7L7

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1m64y1S7Rx

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1c54y187xn

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1GB4y1A7ak

1、修改hadoop-env.sh配置文件，添加jdk安裝目錄

7、檢查是否啟動(dòng)成功
(1)利用jps工具檢測(cè)各進(jìn)程是否啟動(dòng)成功
(2)利用web UI 查看http://hadoop01:50070

學(xué)習(xí)更多，請(qǐng)點(diǎn)擊：https://www.bilibili.com/video/BV1s64y1i77s

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV17h411U7L7

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1m64y1S7Rx

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1c54y187xn

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??https://www.bilibili.com/video/BV1GB4y1A7ak

作者：蹊源的奇思妙想
鏈接：https://juejin.cn/post/6950918276536860686
來(lái)源：掘金
著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請(qǐng)注明出處。