hive3.13安裝掠過

tez的編譯，坑非常多，編譯完成后得到的兩個文件,浪費我兩天時間。

tez-0.10.2-SNAPSHOT-minimal.tar.gz

tez-0.10.2-SNAPSHOT.tar.gz

? ? ? ?Tez是一個Hive的運行引擎，由于沒有中間存盤的過程，性能優(yōu)于MR。Tez可以將多個依賴作業(yè)轉(zhuǎn)換成一個作業(yè)，這樣只需要寫一次HDFS，中間節(jié)點少，提高作業(yè)的計算性能。

1.下載tez的src.tar.gz源碼包

wget https://gitcode.net/mirrors/apache/tez/-/archive/master/tez-master.tar.gz

pom.xml中更改hadoop.version屬性的值

<hadoop.version>3.3.2</hadoop.version>

2.上傳tez-0.10.2-SNAPSHOT.tar.gz到hdfs

#hdfs上創(chuàng)建目錄，存放tez的依賴包

hdfs dfs -mkdir /tez

hdfs dfs -put tez-0.10.2-SNAPSHOT.tar.gz /tez

3.修改tez-site.xml

解壓tez-0.10.2-SNAPSHOT-minimal.tar.gz

tar -zxvf -C /opt/tez/ tez-0.10.2-SNAPSHOT-minimal.tar.gz

vi /opt/hadoop-3.3.2/etc/hadoop/tez-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

? <property>

? ? ?<!--指定要讀取的tez的jar包地址 -->

? ? ?<name>tez.lib.uris</name>

? ? ?<value>${fs.defaultFS}/tez/tez-0.10.2-SNAPSHOT.tar.gz</value>

? </property>

? <property>

? ? ?<!-- tez可使用集群的jar包 -->

? ? ?<name>tez.use.cluster.hadoop-libs</name>

? ? ?<value>true</value>?

? </property>

? <property>

? ? ?<!--? -->

? ? ?<name>tez.am.resource.cpu.vcores</name>

? ? ?<value>1</value>?

? </property>??

? <property>

? ? ?<!--? -->

? ? ?<name>tez.am.resource.memory.mb</name>

? ? ?<value>1024</value>?

? </property>?

? <property>

? ? ?<!--? -->

? ? ?<name>tez.container.max.java.heap.fraction</name>

? ? ?<value>0.4</value>?

? </property>?

? <property>

? ? ?<!--? -->

? ? ?<name>tez.task.resource.memory.mb</name>

? ? ?<value>1024</value>?

? </property>

? <property>

? ? ?<!--? -->

? ? ?<name>tez.task.resource.cpu.vcores</name>

? ? ?<value>1</value>?

? </property>

? <property>

? ? ?<name>tez.history.logging.service.class</name>

? ? ?<value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>

? </property>

</configuration>

4.安裝編譯lzo

下載、安裝并編譯LZO

wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

tar -zxvf lzo-2.10.tar.gz

cd lzo-2.10

./configure -prefix=/usr/local/lzo/

make

make install

編譯hadoop-lzo的源碼

mvn package -Dmaven.test.skip=true
進入target，hadoop-lzo-0.4.21-SNAPSHOT.jar 即編譯成功的hadoop-lzo組件

cp hadoop-lzo-0.4.21-SNAPSHOT.jar /opt/hadoop-3.3.2/share/hadoop/common/

我使用的是單機版，所以沒有其它節(jié)點需要同步

配置環(huán)境變量

export C_INCLUDE_PATH=/opt/lzo/include

?export LIBRARY_PATH=/opt/lzo/lib

配置/opt/hadoop-3.3.2/etc/hadoop/core-site.xml

<configuration>

<property>

<name>io.compression.codecs</name>

<value>

org.apache.hadoop.io.compress.GzipCodec,

org.apache.hadoop.io.compress.DefaultCodec,

org.apache.hadoop.io.compress.BZip2Codec,

org.apache.hadoop.io.compress.SnappyCodec,

com.hadoop.compression.lzo.LzoCodec,

com.hadoop.compression.lzo.LzopCodec

</value>

</property>

<property>

? ? <name>io.compression.codec.lzo.class</name>

? ? <value>com.hadoop.compression.lzo.LzoCodec</value>

</property>

</configuration>

5.改Hadoop環(huán)境變量

vi? hive-env.sh

export TEZ_HOME=/opt/tez? ??

export TEZ_JARS=""

for jar in `ls $TEZ_HOME |grep jar`; do

export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar

done

for jar in `ls $TEZ_HOME/lib`; do

export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar

done

export HIVE_AUX_JARS_PATH=/opt/hadoop-3.3.2/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar$TEZ_JARS

6.測試

啟動hive? ? set hive.execution.engine=tez;?