hive-2.1.1完全分布式搭建,受限制于时间,直接上参数了
下载地址: http://mirror.bit.edu.cn/apache/hive/
下载版本: hive-2.1.1
压缩包名称: apache-hive-2.1.1-bin.tar.gz
压缩包存放目录: /home/lina/Software/Hadoop/apache-hive-2.1.1-bin.tar.gz
将解压目录(安装目录)设置为/opt/Hadoop/下,使用下面的命令进行解压,并创建软连接:
tar zxf apache-hive-2.1.1-bin.tar.gz -C /opt/Hadoop //解压到安装目录,解压之后的名字是apache-hive-2.1.1-bin
mv apache-hive-2.1.1-bin apache-hive-2.1.1 //将文件夹的名字由apache-hive-2.1.1-bin变为apache-hive-2.1.1
ln -s apache-hive-2.1.1 hive //创建软连接
因为之前在已经配置过jdk,hadoop,zookeeper,hbase和pig的环境变量,所以这里只需要将hive的环境变量添加即可,添加内容在下图使用红框圈起来了(没圈的地方是之前已经配置过的环境变量,这里不需要变动),使用命令sudo vi ~/.bashrc打开配置文件,配置如下:
export PATH=.:$HIVE_HOME/bin:$HIVE_HOME/conf
使用source ~/.bashrc使更改的环境变量立即生效。
(1)复制初始文件作为配置文件
进入${HIVE_HOME}\conf即/opt/Hadoop/apache-hive-2.1.1/conf目录下,执行下面的命令:
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
(2)修改hive-env.sh
进入${HIVE_HOME}\conf\即/opt/Hadoop/apache-hive-2.1.1/conf目录下,使用vi hive-en.sh打开文件,在hive-env.sh中添加以下路径:
export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.3 //Hadoop安装路径
export HIVE_HOME=/opt/Hadoop/hive-2.1.1 //Hive安装路径
export HIVE_CONF_DIR=/opt/Hadoop/hive-2.1.1/conf //Hive配置文件路径
hive-site.xml
的配置参数连接mysql数据库部分
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false
</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
注意:上述ConnectionUserName和ConnectionPassword需要更加mysql中自己设置的用户名和密码做相应的更改。
(5)更改{system:java.io.tmpdir} / {system:user.name}
将{system:java.io.tmpdir} 改成 /opt/Hadoop/apache-hive-2.1.1/tmp/
将{system:user.name} 改成 {user.name}
mysql的jdbc驱动包下载地址:https://dev.mysql.com/downloads/connector/j/
下载之后将文件夹解压,得到mysql-connector-java-5.1.42-bin.jar,将此jar包放在${HIVE_HOME}/lib目录,即/opt/Hadoop/apache-hive-2.1.1/lib下。
(1)从 Hive 2.1 版本开始, 需要先运行 schematool 命令来执行初始化操作。
1. schematool -dbType mysql -initSchema
看到schemaTool completed 则初始化完成 。
(2)可以使用schematool -dbType mysql -initInfo 查看数据库初始化信息。
(3)进入mysql中,查看hive中的表格信息,可看到如图内容:
(4)检测hive 是否成功,直接在命令行输入hive即可:
1. hive