DolphinScheduler启用Kerberos(亲测)
环境背景
使用DolphinScheduler3.0.0+CDH6.3.2(适配之前已存在任务环境)
已知问题
DolphinScheduler3.1.4默认是zookeeper3.8,需要手动编译zk3.4+
DolphinScheduler的hive相关依赖和CDH的版本不一致,需要在编译时修改pom文件
开启Kerberos时使用DolphinScheduler添加Hive数据源日志报错Peer indicated failure: Unsupported mechanism type PLAIN,在github的issue上有人说是bug,所以我手动编译3.1.4版本,问题依然存在,最终确定是依赖问题,下面附解决方法
添加hive数据源jdbc连接参数{"principal":"hive/_HOST@EXAMPLE.COM"}
开始配置
按照官网说明修改master,worker,api模块下面的conf/common.properties相关的Kerberos配置
使用kadmin.local生成keytab文件及相应的princal,不让之前配置密码失效加-norandkey
kadmin.local -q "xst -k /opt/hdfs.keytab hdfs@EXAMPLE.COM"配置正确重启小海豚,spark任务不需要任何修改是可以正常执行的,添加hive数据异常,解决方法如下:
思路参考
先添加jdbc连接参数{"principal":"hive/_HOST@EXAMPLE.COM"}连接成功,后执行以下导致误以为是jar包导致的
(1)重新编译小海豚,修改pom文件,添加hive-shim依赖注意版本
(2)使用$CDH_HOME/jars目录下的jar替换小海豚的master,worker,api的libs目录下依赖
cdh_jars="/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars"
dol314="/opt/software/bigdata/dolphinscheduler314"
cd $dol314
mkdir ext
cp $cdh_jars/hive-common-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-jdbc-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-metastore-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-serde-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-service-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-service-rpc-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-shims-0.23-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-shims-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-shims-common-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-shims-scheduler-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-storage-api-2.1.1-cdh6.3.2.jar $dol314/ext
rm -rf $dol314/mater-server/libs/hive-*
rm -rf $dol314/worker-server/libs/hive-*
rm -rf $dol314/api-server/libs/hive-*
cp -rf $dol314/ext/* $dol314/mater-server/libs
cp -rf $dol314/ext/* $dol314/worker-server/libs
cp -rf $dol314/ext/* $dol314/api-server/libs重启小海豚,添加hive数据源成功
可能报错
java.sql.SQLException: Could not open client transport with JDBC Uri: GSS initiate failed
检查配置的kerberos相关信息是否正确
java.lang.NoClassDefFoundError: org/apache/hadoop/hive/thrift/TFilterTransport
jar包依赖问题或者jdbc连接参数中存在{"principal":"hive/_HOST@EXAMPLE.COM"}
注意事项
hive的principle可以使用配置文件里面的,也可以使用CM创建的hive/master@EXAMPLE.COM,用户名默认hive就行
kerberos命名规则,用户/主机@Realm,使用keytab,原来的密码失效(创建keytab可添加密码不失效参数-norandkey),一个用户可以访问所有服务
window客户端使用要保证krb5.conf的kdc和admin_server和服务端一致