虛擬機磁盤大小為 40G，安裝 CentOS7。

?注意：如果你的虛擬機磁盤大小為20G，你通過VMware進行磁盤容量擴展后，還需在CentOS 中對分區(qū)進行擴容，否則 VMware 擴展的容量無法使用

創(chuàng)建虛擬機，磁盤大小 40G;(此處不做演示)

設(shè)置靜態(tài) IP

?vim /etc/sysconfig/network-scripts/ifcfg-ens33

?

修改主機名

hostnamectl set-hostname xxx(主機名)

?

在/etc/hosts 文件中添加 IP、主機名映射

vim /etc/hosts

?

安裝 java，配置環(huán)境變量；（需要先將對應(yīng)的jdk包上傳至虛擬機環(huán)境中）

解壓后，在etc/profile中寫配置

?

配置免密登錄

ssh-keygen

ssh-copy-id 主機名

?

安裝 MySQL

（1）檢查是否安裝過mysql，如有則卸載

# 檢查是否安裝過

rpm -qa|grep mariadb

?

# 卸載已經(jīng)安裝的mysql

rpm -e --nodeps mariadb-libs

?

（2）安裝mysql的依賴，解壓 mysql-5.7.38-1.el7.x86_64.rpm-bundle.jar，依次安裝里面的文件

?

?

(3)?配置 MySQL

vi /etc/my.cnf

?

(4)?啟動 MySQL

systemctl start mysqld

查看啟動狀態(tài)

systemctl status mysqld

?

(5)獲取 MySQL 默認密碼

cat /var/log/mysqld.log | grep password

(6)登錄 MySQL mysql -uroot -p(你查詢到的默認密碼，注意不要復(fù)制前后梁端的空格)

7) 登錄成功后設(shè)置密碼策略

set global validate_password_policy=LOW;

set global validate_password_length=6;

set password = password("123456");

?

?8) 用戶授權(quán)

update mysql.user set host = '%' where user = 'root';

flush privileges;

?

9)?建庫

GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456';

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

?

?

配置mysql驅(qū)動包

解壓 mysql-connector-java-5.1.49.tar，將其中的 mysql-connector-java-5.1.49-bin.jar 拷貝到/usr/share/java，并改名為 mysql-connector-java.jar（重要）。

?

mysql-connector-java-5.1.27-bin.jar拷貝到/usr/share/java路徑下，并重命名

?

安裝 Cloudear Manager

解壓 tar -zxvf cm6.3.1-redhat7.tar.gz

cd cm6.3.1/RPMS/x86_64/

?

安裝 cloudera-manager-daemons

rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

?

安裝 cloudera-manager-agent

yum install -y bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb libxml2-python

?

yum install -y /lib/lsb/init-functions createrepo deltarpm python-deltarpm

?

yum install -y mod_ssl openssl-devel python-psycopg2 MYSQL-python

?

rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

?

修改配置 server 節(jié)點

vim /etc/cloudera-scm-agent/config.ini

server_host=你的主機名

max_collection_wait_seconds=100.0

metrics_url_timeout_seconds=10.0

?

安裝 cloudera-manager-server

rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

?

CDH 解壓后，將以下文件拷貝到/opt/clouodera/parcelrepo 目錄

要修改.sha1的名字

?

修改 server 的 db.properties

vim /etc/cloudera-scm-server/db.properties

#修改如下內(nèi)容

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=你的主機名:3306

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=scm

com.cloudera.cmf.db.password=scm com.cloudera.cmf.db.setupType=EXTERNAL

?

?

初始化數(shù)據(jù)庫用戶

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

?

啟動 Cloudera Manager Server

systemctl start cloudera-scm-server

啟動 Cloudera Manager Agent

systemctl start cloudera-scm-agent

?

CDH 界面安裝 （剛運行完上面可能要等會兒才進的去web端）

通過 web 端訪問 cm 安裝 cdh

? 通過 你的主機名:7180 訪問

? 用戶名/密碼：admin/admin

要在window的網(wǎng)頁進行操作，記得關(guān)閉防火墻

?

?

接下來按我的圖一樣的操作

?

?

?

?

?此處報錯，解決方法:

找一臺未裝過mysql的虛擬機，進入/usr/lib64/mysql/目錄，將?libmysqlclient.s0.18.0.0下載到window，然后再移動到當前虛擬機中

?

下載至桌面

?

移動到當前虛擬機的/usr/lib64/mysql/目錄

?

vim?/etc/ld.so.conf

?

ldconfig

?

做完這些就沒問題了

?

?

等待完成

?

?

至此安裝完成，后續(xù)再加入spark和kafka的服務(wù)即可

?

?

?添加spark服務(wù)一路點繼續(xù)即可。

最后在虛擬機上看看能不能正常啟動

?

Hive 輸入一兩條sql命令來看是否會報錯，沒錯就是好了

?

?