环境背景

使用DolphinScheduler3.0.0+CDH6.3.2(适配之前已存在任务环境)

已知问题

DolphinScheduler3.1.4默认是zookeeper3.8,需要手动编译zk3.4+

DolphinScheduler的hive相关依赖和CDH的版本不一致,需要在编译时修改pom文件

开启Kerberos时使用DolphinScheduler添加Hive数据源日志报错Peer indicated failure: Unsupported mechanism type PLAIN,在github的issue上有人说是bug,所以我手动编译3.1.4版本,问题依然存在,最终确定是依赖问题,下面附解决方法

添加hive数据源jdbc连接参数{"principal":"hive/_HOST@EXAMPLE.COM"}

开始配置

按照官网说明修改master,worker,api模块下面的conf/common.properties相关的Kerberos配置

使用kadmin.local生成keytab文件及相应的princal,不让之前配置密码失效加-norandkey

kadmin.local -q "xst -k /opt/hdfs.keytab hdfs@EXAMPLE.COM"

配置正确重启小海豚,spark任务不需要任何修改是可以正常执行的,添加hive数据异常,解决方法如下:

思路参考

先添加jdbc连接参数{"principal":"hive/_HOST@EXAMPLE.COM"}连接成功,后执行以下导致误以为是jar包导致的

(1)重新编译小海豚,修改pom文件,添加hive-shim依赖注意版本

(2)使用$CDH_HOME/jars目录下的jar替换小海豚的master,worker,api的libs目录下依赖

cdh_jars="/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars"
dol314="/opt/software/bigdata/dolphinscheduler314"
cd $dol314
mkdir ext
cp $cdh_jars/hive-common-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-jdbc-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-metastore-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-serde-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-service-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-service-rpc-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-shims-0.23-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-shims-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-shims-common-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-shims-scheduler-2.1.1-cdh6.3.2.jar $dol314/ext
cp $cdh_jars/hive-storage-api-2.1.1-cdh6.3.2.jar $dol314/ext
rm -rf $dol314/mater-server/libs/hive-*
rm -rf $dol314/worker-server/libs/hive-*
rm -rf $dol314/api-server/libs/hive-*
cp -rf $dol314/ext/* $dol314/mater-server/libs
cp -rf $dol314/ext/* $dol314/worker-server/libs
cp -rf $dol314/ext/* $dol314/api-server/libs

重启小海豚,添加hive数据源成功