文章目錄

??????? 一、運(yùn)行環(huán)境配置(所有節(jié)點(diǎn))
??????????? 1、基礎(chǔ)配置
??????????? 2、配置Host
??????? 二、依賴軟件安裝(101節(jié)點(diǎn))
??????????? 1、安裝JDK
??????????? 2、安裝Hadoop(root)
??????????? 3、Hadoop目錄結(jié)構(gòu)
??????? 三、本地運(yùn)行模式（官方WordCount）
??????????? 1、簡介
??????????? 2、本地運(yùn)行模式（官方WordCount）
??????? 四、完全分布式運(yùn)行模式
??????????? 1、文件分發(fā)腳本(root)
??????????? 2、SSH免密登錄設(shè)置
??????????? 3、同步文件
??????????? 4、集群節(jié)點(diǎn)資源配置
??????????????? 4.1 核心配置文件(core-site.xml)
??????????????? 4.2 HDFS配置文件(hdfs-site.xml)
??????????????? 4.3 YARN配置文件(yarn-site.xml)
??????????????? 4.4 MapReduce配置文件（mapred-site.xml）
??????????????? 4.5 分發(fā)配置文件
??????????? 5、群起集群
??????????????? 5.1 配置workers
??????????????? 5.2 啟動集群
??????????????? 5.3 其它啟動停止方式
??????????????? 5.4 啟動腳本
??????????? 6、查看相關(guān)頁面
??????????? 7、配置歷史服務(wù)器
??????????? 8、配置日志的聚集
??????????? 9、其它
??????????????? 9.1 常用端口號
??????????????? 9.2 常用頁面
??????? 五、遇到問題
??????????? 1、編輯文件無權(quán)限('readonly' option is set (add ! to override))
??????????? 2、Hadoop啟動出錯Cannot assign requested address

一、運(yùn)行環(huán)境配置(所有節(jié)點(diǎn))

所有集群服務(wù)，都需要配置

1、基礎(chǔ)配置

關(guān)閉防火墻，關(guān)閉防火墻開機(jī)自啟

創(chuàng)建lydms用戶，并修改lydms用戶的密碼lydms123

配置lydms用戶具有root權(quán)限，方便后期加sudo執(zhí)行root權(quán)限的命令

'readonly' option is set (add ! to override) 查看5.1解決。

在/opt目錄下創(chuàng)建文件夾

并修改所屬主和所屬組

2、配置Host

更新本機(jī)名稱(參照下表)

配置Linux克隆機(jī)主機(jī)名稱映射hosts文件

重啟虛擬機(jī)

二、依賴軟件安裝(101節(jié)點(diǎn))

只有主節(jié)點(diǎn)進(jìn)行配置

1、安裝JDK

下載JDK

解壓文件

添加環(huán)境變量

加載環(huán)境變量

查看是否安裝完成

2、安裝Hadoop(root)

下載地址

解壓到/opt/module/目錄

添加環(huán)境變量

加載環(huán)境變量

查看是否安裝完成

3、Hadoop目錄結(jié)構(gòu)

• bin目錄：存放對Hadoop相關(guān)服務(wù)（hdfs，yarn，mapred）進(jìn)行操作的腳本。

• etc目錄：Hadoop的配置文件目錄，存放Hadoop的配置文件。

• lib目錄：存放Hadoop的本地庫（對數(shù)據(jù)進(jìn)行壓縮解壓縮功能）。

• sbin目錄：存放啟動或停止Hadoop相關(guān)服務(wù)的腳本。

• share目錄：存放Hadoop的依賴jar包、文檔、和官方案例。

三、本地運(yùn)行模式（官方WordCount）

1、簡介

Hadoop官方網(wǎng)站：http://hadoop.apache.org/

Hadoop運(yùn)行模式包括：本地模式、偽分布式模式以及完全分布式模式。

• 本地模式：單機(jī)運(yùn)行，只是用來演示一下官方案例。生產(chǎn)環(huán)境不用。

• 偽分布式模式：也是單機(jī)運(yùn)行，但是具備Hadoop集群的所有功能，一臺服務(wù)器模擬一個分布式的環(huán)境。個別缺錢的公司用來測試，生產(chǎn)環(huán)境不用。

• 完全分布式模式：多臺服務(wù)器組成分布式環(huán)境。生產(chǎn)環(huán)境使用。

2、本地運(yùn)行模式（官方WordCount）

在hadoop-3.1.3文件下面創(chuàng)建一個wcinput文件夾

在wcinput文件下創(chuàng)建一個word.txt文件

運(yùn)行單機(jī)Hadoop

查看運(yùn)行結(jié)果

四、完全分布式運(yùn)行模式

三臺資源列表

1、文件分發(fā)腳本(root)

新建文件xsync

添加執(zhí)行權(quán)限

2、SSH免密登錄設(shè)置

原理：

生成公私鑰：

查看生成文件

將公鑰拷貝到要免密登錄的目標(biāo)機(jī)器上(輸入相應(yīng)密碼)

幾臺服務(wù)器之間都要互相配置

測試：

還需要配置(集群各個節(jié)點(diǎn)之間免密溝通)：

• hadoop101上采用root賬號，配置一下免密登錄到hadoop101、hadoop102、hadoop103。

• hadoop102上采用root賬號，配置一下免密登錄到hadoop101、hadoop102、hadoop103。

• hadoop103上采用root賬號，配置一下免密登錄到hadoop101、hadoop102、hadoop103；

最終效果：

3、同步文件

• 同步環(huán)境變量/etc/profile.d/my_env.sh

• 同步JDK、Hadoop：/opt/model

同步環(huán)境變量

同步JDK、Hadoop

4、集群節(jié)點(diǎn)資源配置

• NameNode和SecondaryNameNode不要安裝在同一臺服務(wù)器。

• ResourceManager也很消耗內(nèi)存，不要和NameNode、SecondaryNameNode配置在同一臺機(jī)器上。

Hadoop配置文件分兩類：默認(rèn)配置文件和自定義配置文件，只有用戶想修改某一默認(rèn)配置值時，才需要修改自定義配置文件，更改相應(yīng)屬性值。

默認(rèn)配置文件。

自定義配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四個配置文件存放在$HADOOP_HOME/etc/hadoop這個路徑上，用戶可以根據(jù)項(xiàng)目需求重新進(jìn)行修改配置。

4.1 核心配置文件(core-site.xml)

文件內(nèi)容：

4.2 HDFS配置文件(hdfs-site.xml)

文件內(nèi)容：

4.3 YARN配置文件(yarn-site.xml)

4.4 MapReduce配置文件（mapred-site.xml）

4.5 分發(fā)配置文件

5、群起集群

5.1 配置workers

新增節(jié)點(diǎn)配置文件

同步配置

5.2 啟動集群

如果集群是第一次啟動，需要在hadoop001節(jié)點(diǎn)格式化NameNode。

（注意：格式化NameNode，會產(chǎn)生新的集群id，導(dǎo)致NameNode和DataNode的集群id不一致，集群找不到已往數(shù)據(jù)。如果集群在運(yùn)行過程中報(bào)錯，需要重新格式化NameNode的話，一定要先停止namenode和datanode進(jìn)程，并且要刪除所有機(jī)器的data和logs目錄，然后再進(jìn)行格式化。）

啟動HDFS

啟動YARN（配置了ResourceManager的節(jié)點(diǎn)hadoop002）

5.3 其它啟動停止方式

啟動/停止HDFS

啟動/停止YARN

5.4 啟動腳本

新建啟動/停止集群腳本

賦予腳本執(zhí)行權(quán)限

新建Java進(jìn)程腳本：jpsall

賦予腳本執(zhí)行權(quán)限

分發(fā)/home/atguigu/bin目錄，保證自定義腳本在三臺機(jī)器上都可以使用

6、查看相關(guān)頁面

Web端查看HDFS的NameNode
http://hadoop101:9870/

Web端查看YARN的ResourceManager
http://hadoop102:8088

7、配置歷史服務(wù)器

分發(fā)配置

hadoop101啟動歷史服務(wù)器

查看是否啟動

查看頁面

http://hadoop101:19888/jobhistory

8、配置日志的聚集

日志聚集概念：應(yīng)用運(yùn)行完成以后，將程序運(yùn)行日志信息上傳到HDFS系統(tǒng)上。

日志聚集功能好處：可以方便地查看到程序運(yùn)行詳情，方便開發(fā)調(diào)試。

**注意：**開啟日志聚集功能，需要重新啟動NodeManager 、ResourceManager和HistoryServer。

新增配置

分發(fā)配置

刪除HDFS上已經(jīng)存在的輸出文件(可以通過頁面刪除)

需要重啟Hadoop集群

9、其它

9.1 常用端口號

9.2 常用頁面

Web端查看HDFS的NameNode

YARN的ResourceManager

歷史服務(wù)器

五、遇到問題

1、編輯文件無權(quán)限(‘readonly’ option is set (add ! to override))

原因：

解決：

2、Hadoop啟動出錯Cannot assign requested address

配置hosts地址問題。導(dǎo)致采用內(nèi)網(wǎng)IP可用，公網(wǎng)IP不可用。
報(bào)錯信息：

阿里云服務(wù)器無法綁定公網(wǎng)IP的地址，并且本地host地址需要配置內(nèi)網(wǎng)地址，或者127.0.0.1。

最后
??? 小伙伴們學(xué)習(xí)編程，有時候不知道怎么學(xué)，從哪里開始學(xué)。掌握了基本的一些語法或者做了兩個案例后，不知道下一步怎么走，不知道如何去學(xué)習(xí)更加高深的知識。

那么對于這些小伙伴們，我準(zhǔn)備了大量的視頻教程，PDF電子書籍，以及源代碼！
只要+up主威信wangkeit1備注“B站”就可以白嫖領(lǐng)取啦！