Hive 运行环境搭建
创始人
2024-05-30 06:35:43
0

文章目录

  • Hive 运行环境搭建
    • 一、Hive 安装部署
      • 1、安装hive
      • 2、MySQL 安装
      • 3、Hive 元数据配置到 Mysql
        • 1) 拷贝驱动
        • 2) 配置Metastore 到 MySQL
        • 3) 再次启动Hive
        • 4) 使用元数据服务的方式访问Hive
    • 二、使用Dbaver连接Hive

Hive 运行环境搭建

HIve 下载地址:http://archive.apache.org/dist/hive/

一、Hive 安装部署

1、安装hive

下载这个hive3.1.3
在这里插入图片描述
将文件上传到 linux /opt/software 目录下
在这里插入图片描述
输入命令:tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/ 解压到 /opt 目录下
在这里插入图片描述
这个名字太长了,我们修改名字为 hive
输入命令:mv apache-hive-3.1.3-bin/ hive
在这里插入图片描述
输入命令:vim /etc/profile 配置hive环境变量
在这里插入图片描述

export HIVE_HOME=/opt/hive 
export PATH=$PATH:$HIVE_HOME/bin

输入命令:source /etc/profile 保存环境配置

2、MySQL 安装

1、检查当前系统是否安装过MySQL
输入命令:rpm -qa|grep mariadb mariadb-libs-5.5.56-2.el7.x86_64
在这里插入图片描述
将mysql5.7压缩包上传到 /optsoftware 目录下
在这里插入图片描述
输入命令: tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C /opt/ 解压到/opt 目录下
在这里插入图片描述
然后下面会出现这么一堆
在这里插入图片描述
在安装目录下执行rpm安装1
输入命令:
sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
注意:按照顺序依次执行
如果 Linux 是最小化安装的,在安装 mysql-community-server-5.7.28-1.el7.x86_64.rpm 时 可能会出现如下错误
在这里插入图片描述
通过 yum 安装缺少的依赖,然后重新安装 mysql-community-server-5.7.28-1.el7.x86_64 即可
输入命令:yum install -y libaio 然后后面执行安装命令的时候,加上这个在末尾 --force --nodeps 就可以了,最好一条一条的执行
在这里插入图片描述
删除/etc/my.cnf 文件中 datadir 指向的目录下的所有内容,如果有内容的情况下:
查看 datadir 的值:
输入命令: vim /etc/my.cnf
在这里插入图片描述
可以看到我们没有
在这里插入图片描述
要是有的话,先切换到那个目录:cd /var/lib/mysql
输入命令:sudo rm -rf ./* 进行删除掉
初始化数据库:sudo mysqld --initialize --user=mysql
在这里插入图片描述
查看临时生成的 root 用户的密码
输入命令:sudo cat /var/log/mysqld.log 临时密码是root@localhos 后面的那个在这里插入图片描述
启动Mysql服务:sudo systemctl start mysqld
登录Mysql数据库:mysql -uroot -prRiE p后面这个是临时生成的密码
输入命令:set password = password("p@ssw0rd"); 修改mysql的密码为p@ssw0rd
在这里插入图片描述
修改 mysql 库下的 user 表中的 root 用户允许任意 ip 连接
输入命令:update mysql.user set host='%' where user='root';
在这里插入图片描述

3、Hive 元数据配置到 Mysql

1) 拷贝驱动

将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下
输入命令: cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib
在这里插入图片描述

2) 配置Metastore 到 MySQL

1、在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件
输入命令:vim $HIVE_HOME/conf/hive-site.xml
添加如下内容:






javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop102:3306/metastore?useSSL=false


javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver


javax.jdo.option.ConnectionUserName
root


javax.jdo.option.ConnectionPassword
p@ssw0rd


hive.metastore.schema.verification
false


hive.metastore.event.db.notification.api.auth
false


hive.metastore.warehouse.dir
/user/hive/warehouse


2、登陆 MySQL
输入命令:mysql -uroot -pp@ssw0rd
在这里插入图片描述
3、新建hive元数据库
输入命令:create database metastore
在这里插入图片描述
4、初始化Hive元数据库
输入命令:schematool -initSchema -dbType mysql - verbose
在这里插入图片描述

3) 再次启动Hive

1、启动hive
输入命令:bin/hive
在这里插入图片描述
2、使用hive
输入命令: create database bigdata; 创建一个bigdata 数据库
输入命令:use bigdata; 选择bigdata数据库
输入命令:create table tests(id int); 创建一个tests表
输入命令: insert into tests values(1); 插入数据

4) 使用元数据服务的方式访问Hive

1、在 hive-site.xml 文件中添加如下配置信息
在这里插入图片描述






javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop102:3306/metastore?useSSL=false


javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver


javax.jdo.option.ConnectionUserName
root


javax.jdo.option.ConnectionPassword
p@ssw0rd


hive.metastore.schema.verification
false


hive.metastore.event.db.notification.api.auth
false

hive.metastore.warehouse.dir/user/hive/warehouse



hive.metastore.uris
thrift://hadoop102:9083


2、启动 metastore
输入命令:hive --service metastore &
在这里插入图片描述

二、使用Dbaver连接Hive

将hive的jdbc驱动从linux /opt/hive/jdbc 目录下下载下来
在这里插入图片描述
打开Dbavear点击编辑驱动
在这里插入图片描述
点击找到类,然后选择这个第一个这个类
在这里插入图片描述
然后让我们回到linux,启动节点,查看进程
在这里插入图片描述
我们要启动 hiveserver2
输入命令:nohup /opt/hive/bin/hive --service hiveserver2 &
在这里插入图片描述
输入命令: hive -service metastore &

相关内容

热门资讯

世界肥胖联盟呼吁——采取行动应... 转自:千龙网5月11日是世界防治肥胖日。不久前,总部位于英国伦敦的世界肥胖联盟发布2025年《全球肥...
巧搭鹊桥 邂逅美好   近日,新区正阳路街道兴业社区举办青年交友联谊活动,60余名单身青年(企业员工+辖区居民)参加。活...
澳媒:中国正增大澳大利亚牛肉进... 格隆汇5月12日|据澳大利亚广播公司5月10日消息,最新数据显示,澳大利亚4月牛肉出口量创历史新高。...
“五一”假期期间福建以旧换新带... 转自:中国消费者报  中国消费者报福州讯(记者张文章)“五一”假期,福建省商务厅启动“购在中国全闽乐...
带领乡亲播撒希望之光    王春凤在大棚查看蔬菜长势。  34岁,在外闯荡的她毅然决然地回到山东省成武县家乡,踏上了创业之...
消费企业密集境外上市 “新消费... 2024年下半年以来,消费企业赴境外上市已蔚然成风。据了解,2025年以来,消费类企业如茶饮品牌中的...
华统股份质押触发鹰眼“高风险”... 截止2025年5月10日,华统股份整体质押股份为2.00亿股,整体质押占总股本之比为31.61%,累...
金鸿顺质押触发鹰眼“风险”评级... 截止2025年5月10日,金鸿顺整体质押股份为3647.10万股,整体质押占总股本之比为20.35%...
俄研究显示一类耳聋多与致病基因...   新华社莫斯科5月11日电 (记者 栾海)俄罗斯萨拉托夫国立医科大学的研究者日前报告说,他们通过研...
激智科技质押触发鹰眼“风险”评... 截止2025年5月10日,激智科技整体质押股份为2044.00万股,整体质押占总股本之比为7.75%...
民德电子质押触发鹰眼“风险”评... 截止2025年5月10日,民德电子整体质押股份为1935.43万股,整体质押占总股本之比为11.31...
中信建投:中短期A股市场延续震... 5月12日,中信建投证券最新研报指出,公募基金基于基准的资金回流风险逐渐释放,A股市场延续震荡格局。...
加力稳外贸,跨境电商综试区再扩... 国务院日前发布的《关于同意在海南全岛和秦皇岛等15个城市(地区)设立跨境电子商务综合试验区的批复》(...
惠伦晶体质押触发鹰眼“高风险”... 截止2025年5月10日,惠伦晶体(维权)整体质押股份为4003.96万股,整体质押占总股本之比为1...
ST柯利达质押触发鹰眼“风险”... 截止2025年5月10日,ST柯利达整体质押股份为1.36亿股,整体质押占总股本之比为22.77%,...
一季度“万亿之城”稳健开局 新... 新华财经北京5月12日电 我国有27座城市2024年的地区生产总值超过1万亿元,被称为“万亿之城”。...
九洲药业核心股东质押股价疑似触... 截止2025年5月10日,九洲药业整体质押股份为5150.00万股,整体质押占总股本之比为5.75%...
阳光与微笑 阳光与微笑 谭云俸
*ST星农质押触发鹰眼“高风险... 截止2025年5月10日,*ST星农整体质押股份为3090.49万股,整体质押占总股本之比为11.4...
ST联创质押触发鹰眼“高风险”... 截止2025年5月10日,ST联创(维权)整体质押股份为2995.00万股,整体质押占总股本之比为2...