本期我們帶大家回顧一下海洋同學(xué)的直播分享《ChengYing部署Hadoop集群實(shí)戰(zhàn)》

Hadoop集群部署準(zhǔn)備

在部署集群前，我們需要做一些部署準(zhǔn)備，首先我們需要按照下載Hadoop產(chǎn)品包：

●?Mysql

https://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Mysql_5.7.38_centos7_x86_64.tar

●?Zookeeper

https://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Zookeeper_3.7.0_centos7_x86_64.tar

●?Hadoop

https://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Hadoop_2.8.5_centos7_x86_64.tar

●?Hive

https://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Hive_2.3.8_centos7_x86_64.tar

●?Spark

https://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Spark_2.1.3-6_centos7_x86_64.tar

接著我們可以將下載好的產(chǎn)品包直接通過(guò)ChengYing界面上傳，具體路徑是：部署中心—組件管理—組件列表—上傳組件安裝包：

可以通過(guò)兩種模式上傳產(chǎn)品包：

本地上傳方式

產(chǎn)品包在先下載到本機(jī)電腦存儲(chǔ)中，點(diǎn)擊本地上傳，選在產(chǎn)品包上傳。

網(wǎng)絡(luò)上傳模式

直接填寫(xiě)產(chǎn)品包網(wǎng)絡(luò)地址上傳（ChengYing的網(wǎng)絡(luò)需要和產(chǎn)品包網(wǎng)絡(luò)互通）。

Hadoop集群部署流程

做完準(zhǔn)備后，我們可以開(kāi)始進(jìn)入集群部署，Hadoop集群部署流程包括以下步驟：

01

集群部署順序說(shuō)明

1. 首先需要部署Mysql和zookeeper，因?yàn)镠adoop需要依賴(lài)zookeeper，Hive元數(shù)據(jù)存儲(chǔ)使用的是Mysql；

2. 其次需要部署Hadoop，Hive

3. 最后部署Spark，因Spark依賴(lài)hivemetastore

PS：部署順序是不可逆的

02

?Hadoop集群部署角色分布

03

產(chǎn)品包標(biāo)準(zhǔn)部署流程

1. 選擇需要部署的產(chǎn)品包，點(diǎn)擊部署按鈕，然后選擇對(duì)應(yīng)需要部署的集群，默認(rèn)集群為dtstack，集群名稱(chēng)可配置；

2. 下一步選擇需要部署的服務(wù)，默認(rèn)產(chǎn)品包下的服務(wù)都會(huì)部署，可以根據(jù)實(shí)際需求部署，在此階段可以對(duì)服務(wù)的配置文件進(jìn)行修改，例如：修改Mysql連接超時(shí)時(shí)間等；

3. 最后點(diǎn)擊部署，等待部署完成。

04

Mysql服務(wù)部署流程演示

接下來(lái)我們以Mysql服務(wù)部署流程來(lái)為大家實(shí)際演示下整體流程：

●?第一步：選擇集群

●?第二步：選擇產(chǎn)品包

●?第三步：選擇部署節(jié)點(diǎn)

●?第四步：部署進(jìn)度查看

●?第五步：部署后狀態(tài)查看

Hadoop集群使用與運(yùn)維

集群部署完畢后，若有需求可以進(jìn)行配置變更操作。

●?配置修改

例如：如果需要操作修改yarn的配置文件，可以先選擇yarn-site.xml文件，可以在搜索框搜索需要修改的配置文件key，如cpu_vcores。

● 配置保存

●?配置下發(fā)

Taier對(duì)接Hadoop操作流程

ChengYing除了可自動(dòng)部署運(yùn)維外，還可以對(duì)接Taier部署Hadoop集群，Taier 是一個(gè)大數(shù)據(jù)分布式可視化的DAG任務(wù)調(diào)度系統(tǒng)，旨在降低ETL開(kāi)發(fā)成本、提高大數(shù)據(jù)平臺(tái)穩(wěn)定性，大數(shù)據(jù)開(kāi)發(fā)人員可以在 Taier 直接進(jìn)行業(yè)務(wù)邏輯的開(kāi)發(fā)，而不用關(guān)心任務(wù)錯(cuò)綜復(fù)雜的依賴(lài)關(guān)系與底層的大數(shù)據(jù)平臺(tái)的架構(gòu)實(shí)現(xiàn)，將工作的重心更多地聚焦在業(yè)務(wù)之中。

利用ChengYing部署管理Taier服務(wù)，可以做到實(shí)時(shí)監(jiān)控Taier的服務(wù)狀態(tài)，隨時(shí)界面修改Taier配置等。Taier對(duì)接Hadoop集群的操作流程如下：

1. 首先需要在Taier控制臺(tái)選擇多集群配置，新增一個(gè)集群；

2. 然后配置sftp、資源調(diào)度組件、存儲(chǔ)組件和計(jì)算組件；

3. 配置完成后需要保存并且測(cè)試連通性。

注意事項(xiàng)：

在對(duì)接過(guò)程中，sftp主機(jī)需要和Taier網(wǎng)絡(luò)相通，并且sftp配置主機(jī)的路徑需要存在，如果不存在，需要手動(dòng)創(chuàng)建。

Taier的部署網(wǎng)絡(luò)需要與Hadoop網(wǎng)絡(luò)相通，如果運(yùn)行任務(wù)，需要在Taier所在節(jié)點(diǎn)加入Hadoop集群的Host配置;編譯/etc/hosts文件，增加IP Hostname。

●?第一步：配置公共組件

首先進(jìn)入Taier登陸界面，點(diǎn)擊控制臺(tái)，新增集群，然后進(jìn)入多集群管理界面，配置公共組件，選擇SFTP，進(jìn)入SFTP配置界面。

●?第二步：配置SFTP

然后配置SFTP的host，認(rèn)證方式，默認(rèn)采用用戶(hù)名密碼方式，輸入用戶(hù)名和密碼，并且輸入path路徑，此路徑需要在主機(jī)上存在，如果不存在，需要手動(dòng)創(chuàng)建一個(gè)SFTP路徑.

●?第三步：資源調(diào)度組件配置

1. 需要到部署Hadoop服務(wù)器到/opt/dtstack/Hive/hive_pkg/conf目錄下獲取hive-site.xml文件，下載到本地；

2. 到/opt/dtstack/Hadoop/Hadoop_pkg/etc/Hadoop目錄下獲取hdfs-site.xml、core-site.xml、yarn-site.xml文件，下載到本地；

3. 這四個(gè)文件壓縮成一個(gè)zip包，上傳這個(gè)壓縮包。

●?第四步：計(jì)算組件配置

選擇計(jì)算組件模塊，選擇需要對(duì)接的計(jì)算引擎Hive和Spark，選擇Hive和Spark的版本，填寫(xiě)對(duì)應(yīng)的jdbc（jdbc:hive://ip:port/）連接串，然后點(diǎn)擊保存，測(cè)試連通性。

注意：jdbcurl中ip分別為Hive組件的hiveserver2和Spark中的thrifterserver所在節(jié)點(diǎn)ip。

●?第五步：配置Hive和Spark

以下是配置完成Hive和Spark組件后，測(cè)試連通性的狀態(tài)。

注意：本地演示環(huán)境Hadoop未開(kāi)啟安全，Hive和Spark只需要配置jdbcurl即可。

Hadoop集群近期規(guī)劃

最后和大家聊聊Hadoop集群近期規(guī)劃，近期主要有三大規(guī)劃：

●?產(chǎn)品包制作

制作ChengYing部署產(chǎn)品包的流程及實(shí)踐。

● ChunJun&Taier產(chǎn)品包

制作可以用ChengYing部署的Taier和chunjun的產(chǎn)品包

●?Hadoop運(yùn)維

通過(guò)ChengYing運(yùn)維大數(shù)據(jù)集群；

通過(guò)ChengYing一鍵開(kāi)啟Hadoop集群安全。