Dbeaver连接Hive数据库操作指导
创始人
2024-05-27 07:45:50
0

背景:由于工作需要,当前分析研究的数据基于Hadoop的Hive数据库中,且Hadoop服务端无权限进行操作且使用安全模式,在研究了Dbeaver、Squirrel和Hue三种连接Hive的工具,在无法绕开useKey认证的情况下,只能使用DBeaver工具进行远程连接。
【Hadoop环境】:Hive版本:3.1.0 KrbClient版本:1.17
【JDK版本】:1.8.0_181

一、 配置 Windows 的 kerberos 认证

注:由于当前Hadoop服务算使用FusionInsight安全模式需要使用kerberos进行认证,如果使用 FusionInsight非安全模式进行对接不需要使用 kerberos认证。

  1. 前置条件:已完成 FusionInsight HD V100R002C70SPC200 的安装,包含 KrbServer 组件。
  2. 配置kerberos认证
    步骤 1 下载并安装 MIT Kerberos
    下载网址:http://web.mit.edu/kerberos/dist/。
    版本与操作系统位数保持一致,本文版本 kfw-4.1-amd64.msi。
    安装路径:C:\Program Files\MIT\Kerberos(默认路径)
    步骤 2同步客户端机器的时间
    与 FusionInsight HD 集群的时间一致,时间差要小于 5 分钟。
    步骤 3 设置 Kerberos 的配置文件
    登录FusionInsight服务端页面,点击右上角“用户名”->“下载认证凭据”后保存至本地解压,获取krb5.confuser.keytab文件。
    C盘创建文件目录ecotesting/Fiber/conf文件夹目录(目录创建可自定义,但需记住文件的绝对路径,如C:/ ecotesting/Fiber/conf),将krb5.confuser.keytab文件负责到当前conf文件夹下。
    复制krb5.conf文件,修改文件后缀为.ini,保存文件为krb5.ini(注意,在windows中设置显示文件后缀,不然文件可能保存为krb5.ini.txt文件)。
    将krb5.ini文件复制到如下目录中:“C:\Program Files\MIT\Kerberos”、“C:\Windows”、“C:\ProgramData\MIT\Kerberos5”。其中“C:\ProgramData\MIT\Kerberos5”为系统隐藏文件夹,直接输入路径可进入。
    步骤 4 设置 Kerberos 票据的缓存文件和环境变量
    创建存放票据的目录,例如“C:\temp”。设置 Windows 的系统环境变量,变量名为“KRB5CCNAME”,变量值为“C:\temp\krb5cache”;变量名为“KRB5_CONFIG”,变量值为“C:/ ecotesting/Fiber/conf/krb5.ini”。配置完成后,重启机器。
    在这里插入图片描述

步骤 5 在 Windows 上进行认证
(1)使用客户端进行认证
打开 MIT Kerberos,单击“get Ticket”,在弹出的 MIT Kerberos: Get Ticket 窗口中,Pricipal 输入用户名(如:sxappopt@HADOOP.COM),Password 输入密码,单击“OK”。
在这里插入图片描述
在这里插入图片描述
(2)通过命令行进行认证
打开windows命令行窗口,进入到MIT安装目录(如: C:\Program Files\MIT\Kerberos\bin),使用keytab文件进行认证,并查看认证信息是否正确以及认证缓存文件是否生成。
认证命令:kinit –kt keytabPath principle(keytabPath为keytab文件所在路径,principle为认证用户名)
如:kinit –kt C:/ ecotesting/Fiber/conf/user.keytab gzdsj_ruixin
在这里插入图片描述

二、 安装Dbeaver客户端

  • 下载并安装 DBeaver
    由于本地jdk版本为1.8.0_181,考虑到版本兼容性,下载DBeaver版本为21.1.1版本。PS:勿安装最新版本22.3.4版
  • 在windows hosts文件中添加集群的ip和域名
    登录FusionInsight服务端页面,选择主页—集群—集群名,右击选择“下载客户端”,然后选择“仅下载配置文件”,下载至本地后解压,复制hosts至本地“C:\Windows\System32\drivers\etc”进行替换。
  • 创建Zookeeper认证文件
    C:\ecotesting\Fiber\conf目录下新建 jaas.conf 文件,配置认证的用户和密码。文件内容如下:
Client {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=truekeyTab="C:\\ecotesting\\Fiber\\conf\\user.keytab"principal="gzdsj_ruixin"useTicketCache=falsestoreKey=truedebug=true;
};注意: 其中keyTab参数以及principal参数为对应的认证用户名以及认证文件路径。
  • 修改DBeaver配置文件dbeaver.ini文件
    指定Dbeaver使用的JDK虚拟机,添加(注意,参数和值之间需要换行)
-vm
C:\Program Files\Java\jdk1.8.0_181\bin

添加认证配置信息:

-Djava.security.auth.login.config=C:\\ecotesting\\Fiber\\conf\\jaas.conf
-Dzookeeper.sasl.clientconfig=Client
-Dzookeeper.auth.type=kerberos
-Dzookeeper.server.principal=zookeeper/hadoop.hadoop.com
  • 重启DBeaver.
    修改dbeaver.ini后需要重启DBeaver才生效。
  • 获取org.apache.hive.jdbc.HiveDriver驱动依赖jar包
    在Linux中Hive客户端安装路径下获取HiveDriver驱动依赖jar包。进入/opt/client/Hive/Beeline/目录下,下载lib文件夹至DBeaver安装路径(默认为C:\Program Files\Dbeaver)下。

三、 使用自定义JDBC对接Hive

  • 进入DBeaver界面,菜单选择Database->DriverManager,在弹出的对话框中点击 New.
    在这里插入图片描述
  • 新建的连接名字为FI-hive-test,连接信息如下,完成后点击OK
    在这里插入图片描述
说明:- org.apache.hive.jdbc.HiveDriver
2.jdbc:hive2://172.16.4.121:24002,172.16.4.122:24002,172.16.4.123:24002/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;sasl.qop=auth-conf;auth=KERBEROS;principal=hive/hadoop.hadoop.com@HADOOP.COM 
(具体信息可Linux中的Hive客户端通过beeline连接成功打印的日志中截取复制使用)- Hadoop- 点Add File在下载好的hive客户端lib中把所有jar包加进去
  • 菜单栏选择File->New->Database Connection.点击 Next.
    在这里插入图片描述
  • 选择FI-hive-test点击NEXT
    在这里插入图片描述
  • 点击Finish
    在这里插入图片描述
  • 右键选择FI-hive-test点击Edit Connection
    在这里插入图片描述
  • 点击Test connection
    在这里插入图片描述

相关内容

热门资讯

Python|位运算|数组|动... 目录 1、只出现一次的数字(位运算,数组) 示例 选项代...
张岱的人物生平 张岱的人物生平张岱(414年-484年),字景山,吴郡吴县(今江苏苏州)人。南朝齐大臣。祖父张敞,东...
西游西后传演员女人物 西游西后传演员女人物西游西后传演员女人物 孙悟空 六小龄童 唐僧 徐少华 ...
名人故事中贾岛作诗内容简介 名人故事中贾岛作诗内容简介有一次,贾岛骑驴闯了官道.他正琢磨着一句诗,名叫《题李凝幽居》全诗如下:闲...
和男朋友一起优秀的文案? 和男朋友一起优秀的文案?1.希望是惟一所有的人都共同享有的好处;一无所有的人,仍拥有希望。2.生活,...
戴玉手镯的好处 戴玉手镯好还是... 戴玉手镯的好处 戴玉手镯好还是碧玺好 女人戴玉?戴玉好还是碧玺好点佩戴手镯,以和田玉手镯为佳!相嫌滑...
依然什么意思? 依然什么意思?依然(汉语词语)依然,汉语词汇。拼音:yī    rán基本解释:副词,指照往常、依旧...
高尔基的散文诗 高尔基的散文诗《海燕》、《大学》、《母亲》、《童年》这些都是比较出名的一些代表作。
心在飞扬作者简介 心在飞扬作者简介心在飞扬作者简介如下。根据相关公开资料查询,心在飞扬是一位优秀的小说作者,他的小说作...
卡什坦卡的故事赏析? 卡什坦卡的故事赏析?讲了一只小狗的故事, 我也是近来才读到这篇小说. 作家对动物的拟人描写真是惟妙...
林绍涛为简艾拿绿豆糕是哪一集 林绍涛为简艾拿绿豆糕是哪一集第三十二集。 贾宽认为是阎帅间接导致刘映霞住了院,第二天上班,他按捺不...
小爱同学是女生吗小安同学什么意... 小爱同学是女生吗小安同学什么意思 小爱同学,小安同学说你是女生。小安是男的。
内分泌失调导致脸上长斑,怎么调... 内分泌失调导致脸上长斑,怎么调理内分泌失调导致脸上长斑,怎么调理先调理内分泌,去看中医吧,另外用好的...
《魔幻仙境》刺客,骑士人物属性... 《魔幻仙境》刺客,骑士人物属性加点魔幻仙境骑士2功1体质
很喜欢她,该怎么办? 很喜欢她,该怎么办?太冷静了!! 太理智了!爱情是需要冲劲的~不要考虑着考虑那~否则缘...
言情小说作家 言情小说作家我比较喜欢匪我思存的,很虐,很悲,还有梅子黄时雨,笙离,叶萱,还有安宁的《温暖的玄》 小...
两个以名人的名字命名的风景名胜... 两个以名人的名字命名的风景名胜?快太白楼,李白。尚志公园,赵尚志。
幼儿教育的代表人物及其著作 幼儿教育的代表人物及其著作卡尔威特的《卡尔威特的教育》,小卡尔威特,他儿子成了天才后写的《小卡尔威特...
海贼王中为什么说路飞打凯多靠霸... 海贼王中为什么说路飞打凯多靠霸气升级?凯多是靠霸气升级吗?因为之前刚到时确实打不过人家因为路飞的实力...
运气不好拜财神有用吗运气不好拜... 运气不好拜财神有用吗运气不好拜财神有没有用1、运气不好拜财神有用。2、拜财神上香前先点蜡烛,照亮人神...