hive-2.1.1完全分布式搭建

hive-2.1.1完全分布式搭建，受限制于时间，直接上参数了

本文关键词：hive,完全分布式,搭建

安装mysql

1. mkdir /home/lina/Software/mysql //建立下载目录
2. cd /home/lina/Software/ mysql //进入下载目录
3. wget //下载mysql文件
4. mkdir /opt/mysql //建立安装目录
5. tar zxf mysql-5.7.11-Linux-glibc2.5-x86_64.tar.gz -C /opt/ mysql //解压到安装目录
6. sudo apt-get install mysql-server //采用apt-get安装mysql，会提示设置mysql的用户名和密码，设为用户名zhangyu，密码strongs
7. service mysql start //启动mysql服务
8. mysql -uroot -p //进入mysql命令行,输入之后会提示输入密码，输入上述密码strongs
9. mysql> create user hive identified by ‘hive’; //创建一个用户名为hive，密码为hive的数据库
10. mysql> create database hive; //创建一个叫做hive的数据库
11. mysql> grant all on hive.* to hive@’%’ identified by ‘hive’; //给hive用户授权
12. mysql> grant all on hive.* to hive@’localhost’ identified by ‘hive’; //给hive用户授权
13. mysql> flush privileges; mysql> exit; //退出mysql

安装Hive

Step1：下载

下载地址： http://mirror.bit.edu.cn/apache/hive/
下载版本： hive-2.1.1
压缩包名称： apache-hive-2.1.1-bin.tar.gz
压缩包存放目录： /home/lina/Software/Hadoop/apache-hive-2.1.1-bin.tar.gz

Step2：解压

将解压目录（安装目录）设置为/opt/Hadoop/下，使用下面的命令进行解压，并创建软连接：

1. cd /home/lina/Software/Hadoop //将当前目录切换至压缩包所在目录

2. tar zxf apache-hive-2.1.1-bin.tar.gz -C /opt/Hadoop //解压到安装目录，解压之后的名字是apache-hive-2.1.1-bin

3. mv apache-hive-2.1.1-bin apache-hive-2.1.1 //将文件夹的名字由apache-hive-2.1.1-bin变为apache-hive-2.1.1

4. ln -s apache-hive-2.1.1 hive //创建软连接

Step3：添加环境变量

因为之前在已经配置过jdk，hadoop，zookeeper，hbase和pig的环境变量，所以这里只需要将hive的环境变量添加即可，添加内容在下图使用红框圈起来了（没圈的地方是之前已经配置过的环境变量，这里不需要变动），使用命令sudo vi ~/.bashrc打开配置文件，配置如下：

1. export HIVE_HOME=/opt/Hadoop/apache-hive-2.1.1

2. export PATH=.:$HIVE_HOME/bin:$HIVE_HOME/conf
   使用source ~/.bashrc使更改的环境变量立即生效。

Step4：修改hive配置文件

（1）复制初始文件作为配置文件

进入${HIVE_HOME}\conf即/opt/Hadoop/apache-hive-2.1.1/conf目录下，执行下面的命令：

1. cp hive-env.sh.template hive-env.sh

2. cp hive-default.xml.template hive-site.xml

3. cp hive-log4j2.properties.template hive-log4j2.properties

4. cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

（2）修改hive-env.sh

进入${HIVE_HOME}\conf\即/opt/Hadoop/apache-hive-2.1.1/conf目录下，使用vi hive-en.sh打开文件，在hive-env.sh中添加以下路径：

1. export JAVA_HOME=/opt/Java/jdk1.8 //Java路径

2. export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.3 //Hadoop安装路径

3. export HIVE_HOME=/opt/Hadoop/hive-2.1.1 //Hive安装路径

4. export HIVE_CONF_DIR=/opt/Hadoop/hive-2.1.1/conf //Hive配置文件路径

hive-site.xml的配置参数连接mysql数据库部分

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false
    </value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
</property>

注意：上述ConnectionUserName和ConnectionPassword需要更加mysql中自己设置的用户名和密码做相应的更改。

（5）更改{system:java.io.tmpdir} / {system:user.name}

1. 在配置文件hive-site.xml中：

2. 将{system:java.io.tmpdir} 改成 /opt/Hadoop/apache-hive-2.1.1/tmp/

3. 将{system:user.name} 改成 {user.name}

Step5：配置jdbc驱动包

mysql的jdbc驱动包下载地址：https://dev.mysql.com/downloads/connector/j/
下载之后将文件夹解压，得到mysql-connector-java-5.1.42-bin.jar，将此jar包放在${HIVE_HOME}/lib目录，即/opt/Hadoop/apache-hive-2.1.1/lib下。

Step6：初始化并启动hive

（1）从 Hive 2.1 版本开始, 需要先运行 schematool 命令来执行初始化操作。
1. schematool -dbType mysql -initSchema
看到schemaTool completed 则初始化完成 。
（2）可以使用schematool -dbType mysql -initInfo 查看数据库初始化信息。
（3）进入mysql中，查看hive中的表格信息，可看到如图内容：

1. mysql -uroot -p //进入mysql命令行,输入之后会提示你输入密码，输入上述密码root
2. use hive;
3. show tables;

（4）检测hive 是否成功，直接在命令行输入hive即可：
1. hive