hive-2.1.1完全分布式搭建,受限制於時間,直接上參數了
安裝mysql
- mkdir /home/lina/Software/mysql //建立下載目錄
- cd /home/lina/Software/ mysql //進入下載目錄
- wget //下載mysql文件
- mkdir /opt/mysql //建立安裝目錄
- tar zxf mysql-5.7.11-Linux-glibc2.5-x86_64.tar.gz -C /opt/ mysql //解壓到安裝目錄
- sudo apt-get install mysql-server //採用apt-get安裝mysql,會提示設置mysql的使用者名和密碼,設為使用者名zhangyu,密碼strongs
- service mysql start //啟動mysql服務
- mysql -uroot -p //進入mysql命令行,輸入之後會提示輸入密碼,輸入上述密碼strongs
- mysql> create user hive identified by ‘hive’; //創建一個使用者名為hive,密碼為hive的數據庫
- mysql> create database hive; //創建一個叫做hive的數據庫
- mysql> grant all on hive.* to hive@’%’ identified by ‘hive’; //給hive使用者授權
- mysql> grant all on hive.* to hive@’localhost’ identified by ‘hive’; //給hive使用者授權
- mysql> flush privileges; mysql> exit; //登出mysql
安裝Hive
Step1:下載
下載地址: http://mirror.bit.edu.cn/apache/hive/
下載版本: hive-2.1.1
壓縮包名稱: apache-hive-2.1.1-bin.tar.gz
壓縮包存放目錄: /home/lina/Software/Hadoop/apache-hive-2.1.1-bin.tar.gz
Step2:解壓
將解壓目錄(安裝目錄)設置為/opt/Hadoop/下,使用下面的命令進行解壓,並創建軟連接:
- cd /home/lina/Software/Hadoop //將當前目錄切換至壓縮包所在目錄
-
tar zxf apache-hive-2.1.1-bin.tar.gz -C /opt/Hadoop //解壓到安裝目錄,解壓之後的名字是apache-hive-2.1.1-bin
-
mv apache-hive-2.1.1-bin apache-hive-2.1.1 //將文件夾的名字由apache-hive-2.1.1-bin變為apache-hive-2.1.1
-
ln -s apache-hive-2.1.1 hive //創建軟連接
Step3:添加環境變數
因為之前在已經配置過jdk,hadoop,zookeeper,hbase和pig的環境變數,所以這裡只需要將hive的環境變數添加即可,添加內容在下圖使用紅框圈起來了(沒圈的地方是之前已經配置過的環境變數,這裡不需要變動),使用命令sudo vi ~/.bashrc打開配置文件,配置如下:
- export HIVE_HOME=/opt/Hadoop/apache-hive-2.1.1
-
export PATH=.:$HIVE_HOME/bin:$HIVE_HOME/conf
使用source ~/.bashrc使更改的環境變數立即生效。
Step4:修改hive配置文件
(1)複製初始文件作為配置文件
進入${HIVE_HOME}\conf即/opt/Hadoop/apache-hive-2.1.1/conf目錄下,執行下面的命令:
- cp hive-env.sh.template hive-env.sh
-
cp hive-default.xml.template hive-site.xml
-
cp hive-log4j2.properties.template hive-log4j2.properties
-
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
(2)修改hive-env.sh
進入${HIVE_HOME}\conf\即/opt/Hadoop/apache-hive-2.1.1/conf目錄下,使用vi hive-en.sh打開文件,在hive-env.sh中添加以下路徑:
- export JAVA_HOME=/opt/Java/jdk1.8 //Java路徑
-
export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.3 //Hadoop安裝路徑
-
export HIVE_HOME=/opt/Hadoop/hive-2.1.1 //Hive安裝路徑
-
export HIVE_CONF_DIR=/opt/Hadoop/hive-2.1.1/conf //Hive配置文件路徑
hive-site.xml
的配置參數連接mysql數據庫部分
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false
</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
注意:上述ConnectionUserName和ConnectionPassword需要更加mysql中自己設置的使用者名和密碼做相應的更改。
(5)更改{system:java.io.tmpdir} / {system:user.name}
- 在配置文件hive-site.xml中:
-
將{system:java.io.tmpdir} 改成 /opt/Hadoop/apache-hive-2.1.1/tmp/
-
將{system:user.name} 改成 {user.name}
Step5:配置jdbc驅動包
mysql的jdbc驅動包下載地址:https://dev.mysql.com/downloads/connector/j/
下載之後將文件夾解壓,得到mysql-connector-java-5.1.42-bin.jar,將此jar包放在${HIVE_HOME}/lib目錄,即/opt/Hadoop/apache-hive-2.1.1/lib下。
Step6:初始化並啟動hive
(1)從 Hive 2.1 版本開始, 需要先運行 schematool 命令來執行初始化操作。
1. schematool -dbType mysql -initSchema
看到schemaTool completed 則初始化完成 。
(2)可以使用schematool -dbType mysql -initInfo 檢視數據庫初始化信息。
(3)進入mysql中,檢視hive中的表格信息,可看到如圖內容:
- mysql -uroot -p //進入mysql命令行,輸入之後會提示你輸入密碼,輸入上述密碼root
- use hive;
- show tables;
(4)檢測hive 是否成功,直接在命令行輸入hive即可:
1. hive