Hive 运行环境搭建
创始人
2024-05-30 06:35:43

文章目录

  • Hive 运行环境搭建
    • 一、Hive 安装部署
      • 1、安装hive
      • 2、MySQL 安装
      • 3、Hive 元数据配置到 Mysql
        • 1) 拷贝驱动
        • 2) 配置Metastore 到 MySQL
        • 3) 再次启动Hive
        • 4) 使用元数据服务的方式访问Hive
    • 二、使用Dbaver连接Hive

Hive 运行环境搭建

HIve 下载地址:http://archive.apache.org/dist/hive/

一、Hive 安装部署

1、安装hive

下载这个hive3.1.3
在这里插入图片描述
将文件上传到 linux /opt/software 目录下
在这里插入图片描述
输入命令:tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/ 解压到 /opt 目录下
在这里插入图片描述
这个名字太长了,我们修改名字为 hive
输入命令:mv apache-hive-3.1.3-bin/ hive
在这里插入图片描述
输入命令:vim /etc/profile 配置hive环境变量
在这里插入图片描述

export HIVE_HOME=/opt/hive 
export PATH=$PATH:$HIVE_HOME/bin

输入命令:source /etc/profile 保存环境配置

2、MySQL 安装

1、检查当前系统是否安装过MySQL
输入命令:rpm -qa|grep mariadb mariadb-libs-5.5.56-2.el7.x86_64
在这里插入图片描述
将mysql5.7压缩包上传到 /optsoftware 目录下
在这里插入图片描述
输入命令: tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C /opt/ 解压到/opt 目录下
在这里插入图片描述
然后下面会出现这么一堆
在这里插入图片描述
在安装目录下执行rpm安装1
输入命令:
sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
注意:按照顺序依次执行
如果 Linux 是最小化安装的,在安装 mysql-community-server-5.7.28-1.el7.x86_64.rpm 时 可能会出现如下错误
在这里插入图片描述
通过 yum 安装缺少的依赖,然后重新安装 mysql-community-server-5.7.28-1.el7.x86_64 即可
输入命令:yum install -y libaio 然后后面执行安装命令的时候,加上这个在末尾 --force --nodeps 就可以了,最好一条一条的执行
在这里插入图片描述
删除/etc/my.cnf 文件中 datadir 指向的目录下的所有内容,如果有内容的情况下:
查看 datadir 的值:
输入命令: vim /etc/my.cnf
在这里插入图片描述
可以看到我们没有
在这里插入图片描述
要是有的话,先切换到那个目录:cd /var/lib/mysql
输入命令:sudo rm -rf ./* 进行删除掉
初始化数据库:sudo mysqld --initialize --user=mysql
在这里插入图片描述
查看临时生成的 root 用户的密码
输入命令:sudo cat /var/log/mysqld.log 临时密码是root@localhos 后面的那个在这里插入图片描述
启动Mysql服务:sudo systemctl start mysqld
登录Mysql数据库:mysql -uroot -prRiE p后面这个是临时生成的密码
输入命令:set password = password("p@ssw0rd"); 修改mysql的密码为p@ssw0rd
在这里插入图片描述
修改 mysql 库下的 user 表中的 root 用户允许任意 ip 连接
输入命令:update mysql.user set host='%' where user='root';
在这里插入图片描述

3、Hive 元数据配置到 Mysql

1) 拷贝驱动

将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下
输入命令: cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib
在这里插入图片描述

2) 配置Metastore 到 MySQL

1、在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件
输入命令:vim $HIVE_HOME/conf/hive-site.xml
添加如下内容:






javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop102:3306/metastore?useSSL=false


javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver


javax.jdo.option.ConnectionUserName
root


javax.jdo.option.ConnectionPassword
p@ssw0rd


hive.metastore.schema.verification
false


hive.metastore.event.db.notification.api.auth
false


hive.metastore.warehouse.dir
/user/hive/warehouse


2、登陆 MySQL
输入命令:mysql -uroot -pp@ssw0rd
在这里插入图片描述
3、新建hive元数据库
输入命令:create database metastore
在这里插入图片描述
4、初始化Hive元数据库
输入命令:schematool -initSchema -dbType mysql - verbose
在这里插入图片描述

3) 再次启动Hive

1、启动hive
输入命令:bin/hive
在这里插入图片描述
2、使用hive
输入命令: create database bigdata; 创建一个bigdata 数据库
输入命令:use bigdata; 选择bigdata数据库
输入命令:create table tests(id int); 创建一个tests表
输入命令: insert into tests values(1); 插入数据

4) 使用元数据服务的方式访问Hive

1、在 hive-site.xml 文件中添加如下配置信息
在这里插入图片描述






javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop102:3306/metastore?useSSL=false


javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver


javax.jdo.option.ConnectionUserName
root


javax.jdo.option.ConnectionPassword
p@ssw0rd


hive.metastore.schema.verification
false


hive.metastore.event.db.notification.api.auth
false

hive.metastore.warehouse.dir/user/hive/warehouse



hive.metastore.uris
thrift://hadoop102:9083


2、启动 metastore
输入命令:hive --service metastore &
在这里插入图片描述

二、使用Dbaver连接Hive

将hive的jdbc驱动从linux /opt/hive/jdbc 目录下下载下来
在这里插入图片描述
打开Dbavear点击编辑驱动
在这里插入图片描述
点击找到类,然后选择这个第一个这个类
在这里插入图片描述
然后让我们回到linux,启动节点,查看进程
在这里插入图片描述
我们要启动 hiveserver2
输入命令:nohup /opt/hive/bin/hive --service hiveserver2 &
在这里插入图片描述
输入命令: hive -service metastore &

相关内容

热门资讯

好评中国|黄土地上“拼新图”,... 来源:中国青年网监制:陈华 郝帅策划:乔佳新文字:乔佳新设计制作:张博文(部分素材由AI生成)中国青...
日媒:日本自卫队员因持有可卡因... 来源:环球【环球网报道】据日本朝日电视台等日媒12月19日报道,日本陆上自卫队的一名自卫队员因持有可...
顺丰控股:11月速运物流业务收... 转自:证券时报人民财讯12月19日电,顺丰控股(002352)12月19日公告,公司2025年11月...
元祖股份(603886.SH)... 格隆汇12月19日丨元祖股份(603886.SH)公布,公司于2025年12月19日收到公司财务负责...
“班集体”成为北京市第二十八届... 中国教育报-中国教育新闻网讯(记者 施剑松)12月18日,以“寻美”为主题的北京市学生艺术节优秀节目...