hive-2.1.1完全分布式搭建

hive-2.1.1完全分布式搭建，受限制於時間，直接上參數了

本文關鍵詞：hive,完全分布式,搭建

安裝mysql

1. mkdir /home/lina/Software/mysql //建立下載目錄
2. cd /home/lina/Software/ mysql //進入下載目錄
3. wget //下載mysql文件
4. mkdir /opt/mysql //建立安裝目錄
5. tar zxf mysql-5.7.11-Linux-glibc2.5-x86_64.tar.gz -C /opt/ mysql //解壓到安裝目錄
6. sudo apt-get install mysql-server //採用apt-get安裝mysql，會提示設置mysql的使用者名和密碼，設為使用者名zhangyu，密碼strongs
7. service mysql start //啟動mysql服務
8. mysql -uroot -p //進入mysql命令行,輸入之後會提示輸入密碼，輸入上述密碼strongs
9. mysql> create user hive identified by ‘hive’; //創建一個使用者名為hive，密碼為hive的數據庫
10. mysql> create database hive; //創建一個叫做hive的數據庫
11. mysql> grant all on hive.* to hive@’%’ identified by ‘hive’; //給hive使用者授權
12. mysql> grant all on hive.* to hive@’localhost’ identified by ‘hive’; //給hive使用者授權
13. mysql> flush privileges; mysql> exit; //登出mysql

安裝Hive

Step1：下載

下載地址： http://mirror.bit.edu.cn/apache/hive/
下載版本： hive-2.1.1
壓縮包名稱： apache-hive-2.1.1-bin.tar.gz
壓縮包存放目錄： /home/lina/Software/Hadoop/apache-hive-2.1.1-bin.tar.gz

Step2：解壓

將解壓目錄（安裝目錄）設置為/opt/Hadoop/下，使用下面的命令進行解壓，並創建軟連接：

1. cd /home/lina/Software/Hadoop //將當前目錄切換至壓縮包所在目錄

2. tar zxf apache-hive-2.1.1-bin.tar.gz -C /opt/Hadoop //解壓到安裝目錄，解壓之後的名字是apache-hive-2.1.1-bin

3. mv apache-hive-2.1.1-bin apache-hive-2.1.1 //將文件夾的名字由apache-hive-2.1.1-bin變為apache-hive-2.1.1

4. ln -s apache-hive-2.1.1 hive //創建軟連接

Step3：添加環境變數

因為之前在已經配置過jdk，hadoop，zookeeper，hbase和pig的環境變數，所以這裡只需要將hive的環境變數添加即可，添加內容在下圖使用紅框圈起來了（沒圈的地方是之前已經配置過的環境變數，這裡不需要變動），使用命令sudo vi ~/.bashrc打開配置文件，配置如下：

1. export HIVE_HOME=/opt/Hadoop/apache-hive-2.1.1

2. export PATH=.:$HIVE_HOME/bin:$HIVE_HOME/conf
   使用source ~/.bashrc使更改的環境變數立即生效。

Step4：修改hive配置文件

（1）複製初始文件作為配置文件

進入${HIVE_HOME}\conf即/opt/Hadoop/apache-hive-2.1.1/conf目錄下，執行下面的命令：

1. cp hive-env.sh.template hive-env.sh

2. cp hive-default.xml.template hive-site.xml

3. cp hive-log4j2.properties.template hive-log4j2.properties

4. cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

（2）修改hive-env.sh

進入${HIVE_HOME}\conf\即/opt/Hadoop/apache-hive-2.1.1/conf目錄下，使用vi hive-en.sh打開文件，在hive-env.sh中添加以下路徑：

1. export JAVA_HOME=/opt/Java/jdk1.8 //Java路徑

2. export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.3 //Hadoop安裝路徑

3. export HIVE_HOME=/opt/Hadoop/hive-2.1.1 //Hive安裝路徑

4. export HIVE_CONF_DIR=/opt/Hadoop/hive-2.1.1/conf //Hive配置文件路徑

hive-site.xml的配置參數連接mysql數據庫部分

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false
    </value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
</property>

注意：上述ConnectionUserName和ConnectionPassword需要更加mysql中自己設置的使用者名和密碼做相應的更改。

（5）更改{system:java.io.tmpdir} / {system:user.name}

1. 在配置文件hive-site.xml中：

2. 將{system:java.io.tmpdir} 改成 /opt/Hadoop/apache-hive-2.1.1/tmp/

3. 將{system:user.name} 改成 {user.name}

Step5：配置jdbc驅動包

mysql的jdbc驅動包下載地址：https://dev.mysql.com/downloads/connector/j/
下載之後將文件夾解壓，得到mysql-connector-java-5.1.42-bin.jar，將此jar包放在${HIVE_HOME}/lib目錄，即/opt/Hadoop/apache-hive-2.1.1/lib下。

Step6：初始化並啟動hive

（1）從 Hive 2.1 版本開始, 需要先運行 schematool 命令來執行初始化操作。
1. schematool -dbType mysql -initSchema
看到schemaTool completed 則初始化完成 。
（2）可以使用schematool -dbType mysql -initInfo 檢視數據庫初始化信息。
（3）進入mysql中，檢視hive中的表格信息，可看到如圖內容：

1. mysql -uroot -p //進入mysql命令行,輸入之後會提示你輸入密碼，輸入上述密碼root
2. use hive;
3. show tables;

（4）檢測hive 是否成功，直接在命令行輸入hive即可：
1. hive