hive-2.1.1完全分布式搭建

hive-2.1.1完全分布式搭建 大数据 第1张

hive-2.1.1完全分布式搭建,受限制于时间,直接上参数了

本文关键词:hive,完全分布式,搭建

安装mysql

  1. mkdir /home/lina/Software/mysql //建立下载目录
  2. cd /home/lina/Software/ mysql //进入下载目录
  3. wget http://dev.MySQL.com/get/Downloads/MySQL-5.7/mysql-5.7.11-Linux-glibc2.5-x86_64.tar.gz //下载mysql文件
  4. mkdir /opt/mysql //建立安装目录
  5. tar zxf mysql-5.7.11-Linux-glibc2.5-x86_64.tar.gz -C /opt/ mysql //解压到安装目录
  6. sudo apt-get install mysql-server //采用apt-get安装mysql,会提示设置mysql的用户名和密码,设为用户名zhangyu,密码strongs
  7. service mysql start //启动mysql服务
  8. mysql -uroot -p //进入mysql命令行,输入之后会提示输入密码,输入上述密码strongs
  9. mysql> create user hive identified by 'hive'; //创建一个用户名为hive,密码为hive的数据库
  10. mysql> create database hive; //创建一个叫做hive的数据库
  11. mysql> grant all on hive.* to hive@'%' identified by 'hive'; //给hive用户授权
  12. mysql> grant all on hive.* to hive@'localhost' identified by 'hive'; //给hive用户授权
  13. mysql> flush privileges; mysql> exit; //退出mysql

安装Hive

Step1:下载

下载地址: http://mirror.bit.edu.cn/apache/hive/
下载版本: hive-2.1.1
压缩包名称: apache-hive-2.1.1-bin.tar.gz
压缩包存放目录: /home/lina/Software/Hadoop/apache-hive-2.1.1-bin.tar.gz

Step2:解压

将解压目录(安装目录)设置为/opt/Hadoop/下,使用下面的命令进行解压,并创建软连接:

  1. cd /home/lina/Software/Hadoop //将当前目录切换至压缩包所在目录

  2. tar zxf apache-hive-2.1.1-bin.tar.gz -C /opt/Hadoop //解压到安装目录,解压之后的名字是apache-hive-2.1.1-bin

  3. mv apache-hive-2.1.1-bin apache-hive-2.1.1 //将文件夹的名字由apache-hive-2.1.1-bin变为apache-hive-2.1.1

  4. ln -s apache-hive-2.1.1 hive //创建软连接

Step3:添加环境变量

因为之前在已经配置过jdk,hadoop,zookeeper,hbase和pig的环境变量,所以这里只需要将hive的环境变量添加即可,添加内容在下图使用红框圈起来了(没圈的地方是之前已经配置过的环境变量,这里不需要变动),使用命令sudo vi ~/.bashrc打开配置文件,配置如下:

  1. export HIVE_HOME=/opt/Hadoop/apache-hive-2.1.1

  2. export PATH=.:$HIVE_HOME/bin:$HIVE_HOME/conf
    使用source ~/.bashrc使更改的环境变量立即生效。

Step4:修改hive配置文件

(1)复制初始文件作为配置文件

进入${HIVE_HOME}\conf即/opt/Hadoop/apache-hive-2.1.1/conf目录下,执行下面的命令:

  1. cp hive-env.sh.template hive-env.sh

  2. cp hive-default.xml.template hive-site.xml

  3. cp hive-log4j2.properties.template hive-log4j2.properties

  4. cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

(2)修改hive-env.sh

进入${HIVE_HOME}\conf\即/opt/Hadoop/apache-hive-2.1.1/conf目录下,使用vi hive-en.sh打开文件,在hive-env.sh中添加以下路径:

  1. export JAVA_HOME=/opt/Java/jdk1.8 //Java路径

  2. export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.3 //Hadoop安装路径

  3. export HIVE_HOME=/opt/Hadoop/hive-2.1.1 //Hive安装路径

  4. export HIVE_CONF_DIR=/opt/Hadoop/hive-2.1.1/conf //Hive配置文件路径

hive-site.xml的配置参数连接mysql数据库部分

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false
    </value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
</property>

注意:上述ConnectionUserName和ConnectionPassword需要更加mysql中自己设置的用户名和密码做相应的更改。

(5)更改{system:java.io.tmpdir} / {system:user.name}

  1. 在配置文件hive-site.xml中:

  2. 将{system:java.io.tmpdir} 改成 /opt/Hadoop/apache-hive-2.1.1/tmp/

  3. 将{system:user.name} 改成 {user.name}

Step5:配置jdbc驱动包

mysql的jdbc驱动包下载地址:https://dev.mysql.com/downloads/connector/j/
下载之后将文件夹解压,得到mysql-connector-java-5.1.42-bin.jar,将此jar包放在${HIVE_HOME}/lib目录,即/opt/Hadoop/apache-hive-2.1.1/lib下。

Step6:初始化并启动hive

(1)从 Hive 2.1 版本开始, 需要先运行 schematool 命令来执行初始化操作。
1. schematool -dbType mysql -initSchema
看到schemaTool completed 则初始化完成 。
(2)可以使用schematool -dbType mysql -initInfo 查看数据库初始化信息。
(3)进入mysql中,查看hive中的表格信息,可看到如图内容:

  1. mysql -uroot -p //进入mysql命令行,输入之后会提示你输入密码,输入上述密码root
  2. use hive;
  3. show tables;

(4)检测hive 是否成功,直接在命令行输入hive即可:
1. hive

参与评论