Hive 运行环境搭建
创始人
2024-05-30 06:35:43
0

文章目录

  • Hive 运行环境搭建
    • 一、Hive 安装部署
      • 1、安装hive
      • 2、MySQL 安装
      • 3、Hive 元数据配置到 Mysql
        • 1) 拷贝驱动
        • 2) 配置Metastore 到 MySQL
        • 3) 再次启动Hive
        • 4) 使用元数据服务的方式访问Hive
    • 二、使用Dbaver连接Hive

Hive 运行环境搭建

HIve 下载地址:http://archive.apache.org/dist/hive/

一、Hive 安装部署

1、安装hive

下载这个hive3.1.3
在这里插入图片描述
将文件上传到 linux /opt/software 目录下
在这里插入图片描述
输入命令:tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/ 解压到 /opt 目录下
在这里插入图片描述
这个名字太长了,我们修改名字为 hive
输入命令:mv apache-hive-3.1.3-bin/ hive
在这里插入图片描述
输入命令:vim /etc/profile 配置hive环境变量
在这里插入图片描述

export HIVE_HOME=/opt/hive 
export PATH=$PATH:$HIVE_HOME/bin

输入命令:source /etc/profile 保存环境配置

2、MySQL 安装

1、检查当前系统是否安装过MySQL
输入命令:rpm -qa|grep mariadb mariadb-libs-5.5.56-2.el7.x86_64
在这里插入图片描述
将mysql5.7压缩包上传到 /optsoftware 目录下
在这里插入图片描述
输入命令: tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C /opt/ 解压到/opt 目录下
在这里插入图片描述
然后下面会出现这么一堆
在这里插入图片描述
在安装目录下执行rpm安装1
输入命令:
sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
注意:按照顺序依次执行
如果 Linux 是最小化安装的,在安装 mysql-community-server-5.7.28-1.el7.x86_64.rpm 时 可能会出现如下错误
在这里插入图片描述
通过 yum 安装缺少的依赖,然后重新安装 mysql-community-server-5.7.28-1.el7.x86_64 即可
输入命令:yum install -y libaio 然后后面执行安装命令的时候,加上这个在末尾 --force --nodeps 就可以了,最好一条一条的执行
在这里插入图片描述
删除/etc/my.cnf 文件中 datadir 指向的目录下的所有内容,如果有内容的情况下:
查看 datadir 的值:
输入命令: vim /etc/my.cnf
在这里插入图片描述
可以看到我们没有
在这里插入图片描述
要是有的话,先切换到那个目录:cd /var/lib/mysql
输入命令:sudo rm -rf ./* 进行删除掉
初始化数据库:sudo mysqld --initialize --user=mysql
在这里插入图片描述
查看临时生成的 root 用户的密码
输入命令:sudo cat /var/log/mysqld.log 临时密码是root@localhos 后面的那个在这里插入图片描述
启动Mysql服务:sudo systemctl start mysqld
登录Mysql数据库:mysql -uroot -prRiE p后面这个是临时生成的密码
输入命令:set password = password("p@ssw0rd"); 修改mysql的密码为p@ssw0rd
在这里插入图片描述
修改 mysql 库下的 user 表中的 root 用户允许任意 ip 连接
输入命令:update mysql.user set host='%' where user='root';
在这里插入图片描述

3、Hive 元数据配置到 Mysql

1) 拷贝驱动

将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下
输入命令: cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib
在这里插入图片描述

2) 配置Metastore 到 MySQL

1、在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件
输入命令:vim $HIVE_HOME/conf/hive-site.xml
添加如下内容:






javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop102:3306/metastore?useSSL=false


javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver


javax.jdo.option.ConnectionUserName
root


javax.jdo.option.ConnectionPassword
p@ssw0rd


hive.metastore.schema.verification
false


hive.metastore.event.db.notification.api.auth
false


hive.metastore.warehouse.dir
/user/hive/warehouse


2、登陆 MySQL
输入命令:mysql -uroot -pp@ssw0rd
在这里插入图片描述
3、新建hive元数据库
输入命令:create database metastore
在这里插入图片描述
4、初始化Hive元数据库
输入命令:schematool -initSchema -dbType mysql - verbose
在这里插入图片描述

3) 再次启动Hive

1、启动hive
输入命令:bin/hive
在这里插入图片描述
2、使用hive
输入命令: create database bigdata; 创建一个bigdata 数据库
输入命令:use bigdata; 选择bigdata数据库
输入命令:create table tests(id int); 创建一个tests表
输入命令: insert into tests values(1); 插入数据

4) 使用元数据服务的方式访问Hive

1、在 hive-site.xml 文件中添加如下配置信息
在这里插入图片描述






javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop102:3306/metastore?useSSL=false


javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver


javax.jdo.option.ConnectionUserName
root


javax.jdo.option.ConnectionPassword
p@ssw0rd


hive.metastore.schema.verification
false


hive.metastore.event.db.notification.api.auth
false

hive.metastore.warehouse.dir/user/hive/warehouse



hive.metastore.uris
thrift://hadoop102:9083


2、启动 metastore
输入命令:hive --service metastore &
在这里插入图片描述

二、使用Dbaver连接Hive

将hive的jdbc驱动从linux /opt/hive/jdbc 目录下下载下来
在这里插入图片描述
打开Dbavear点击编辑驱动
在这里插入图片描述
点击找到类,然后选择这个第一个这个类
在这里插入图片描述
然后让我们回到linux,启动节点,查看进程
在这里插入图片描述
我们要启动 hiveserver2
输入命令:nohup /opt/hive/bin/hive --service hiveserver2 &
在这里插入图片描述
输入命令: hive -service metastore &

相关内容

热门资讯

中证A500ETF摩根(560... 8月22日,截止午间收盘,中证A500ETF摩根(560530)涨1.19%,报1.106元,成交额...
A500ETF易方达(1593... 8月22日,截止午间收盘,A500ETF易方达(159361)涨1.28%,报1.104元,成交额1...
何小鹏斥资约2.5亿港元增持小... 每经记者|孙磊    每经编辑|裴健如 8月21日晚间,小鹏汽车发布公告称,公司联...
中证500ETF基金(1593... 8月22日,截止午间收盘,中证500ETF基金(159337)涨0.94%,报1.509元,成交额2...
中证A500ETF华安(159... 8月22日,截止午间收盘,中证A500ETF华安(159359)涨1.15%,报1.139元,成交额...
科创AIETF(588790)... 8月22日,截止午间收盘,科创AIETF(588790)涨4.83%,报0.760元,成交额6.98...
创业板50ETF嘉实(1593... 8月22日,截止午间收盘,创业板50ETF嘉实(159373)涨2.61%,报1.296元,成交额1...
港股异动丨航空股大幅走低 中国... 港股航空股大幅下跌,其中,中国国航跌近7%表现最弱,中国东方航空跌近5%,中国南方航空跌超3%,美兰...
电网设备ETF(159326)... 8月22日,截止午间收盘,电网设备ETF(159326)跌0.25%,报1.198元,成交额409....
红利ETF国企(530880)... 8月22日,截止午间收盘,红利ETF国企(530880)跌0.67%,报1.034元,成交额29.0...