数据治理工具DataHub的安装及踩坑过程
创始人
2025-06-01 03:50:33

一、安装Docker

    因为服务器之前安装过Docker,所以安装过程省略,贴一张图看一下 ,API版本最低要求是1.41,建议安装最新的docker,我之前用的老版本docker,后面踩了坑。

二、安装Python3

 Python要求最低3.7,我的版本是3.8.0,安装教程太多了,这里就不写安装过程了

    

三、环境准备

yum -y install gcc
yum install libffi-devel -y
yum install zlib* -y
pip3 install toml

四、安装DataHub

1.安装docker compose V2

最开始默认安装的V1,结果运行提示需要V2,过程中各种失败,最后还是参照官网安装成功。

官网安装地址:Install the Compose plugin

先通过命令行安装了一次:

yum install docker-compose
yum install docker-compose-plugin

用docker-compose version命令查看版本报错了,所以又手动安装了一遍

mkdir -p /usr/local/lib/docker/cli-plugins
curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/lib/docker/cli-plugins/docker-compose
chmod +x /usr/local/lib/docker/cli-plugins/docker-compose

成功了

2.下载源码

主要是为了后面的步骤使用里面的一个配置文件

git clone https://github.com/datahub-project/datahub.git

3.安装DataHub

这段和官网的不一样,参照的一个大佬的文章,是因为官网的镜像下载比较慢,而且出错,指定了国内的镜像;

地址:https://blog.csdn.net/Forget_Ying/article/details/119870931

python3 -m pip install --upgrade pip wheel setuptools -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
python3 -m pip uninstall datahub acryl-datahub || true  # sanity check - ok if it fails
python3 -m pip install --upgrade acryl-datahub -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
datahub version

关键的步骤来了,在这个地方踩了很多坑

datahub docker quickstart --quickstart-compose-file ./docker/quickstart/docker-compose-without-neo4j.quickstart.yml

出错了,manifest for docker.io/acryldata/datahub-actions:head not found

这个是因为没有获取到最新的镜像tag,需要手动指定镜像的tag

编辑下载的源码中的配置文件./docker/quickstart/docker-compose-without-neo4j.quickstart.yml

修改下图红框后面的tag号,之前是:image: acryldata/datahub-actions:${ACTIONS_VERSION:-head}

继续执行 ,结果又报新的错误了

toomanyrequests: You have reached your pull rate limit. You may increase the limit by authenticating and upgrading: https://www.docker.com/increase-rate-limit

这个是因为docker匿名用户的拉取镜像的上限是100,可能我拉的次数太多了,解决办法是

注册docker用户,并使用docker login登录,这样上限就变成200了

docker login [your-domain-name]
username:[your-user-name]
pwd:[your-password]

继续执行,继续踩坑:"specify container image platform" requires API version 1.41, but the Docker daemon API version is 1.26

这个是因为我docker版本太低了,因为这个docker是去年安装的了,卸载后安装最新的,步骤就省略了,贴一个老版本docker的图片:

安装最新的docker后,再执行终于正常了:

但最终也没有出现成功界面:

 

到这里就有点崩溃了,也找不到是什么原因没有安装成功,提示中有个日志,打开也没有找到有用的信息

后来查看了一下docker正在运行的容器,发现很多容器都在正常运行:

我突然突发奇想,直接访问了一下UI界面,发现竟然可以访问!!!

 

真实天无绝人之路,登陆试了一下,可以正常使用。开启我的数据摄入吧~
 

UI地址:http://xxx.xxx.xxx.xxx:9002用户名密码:datahub/datahub

4.参考的网站:

DataHub官网:https://datahubproject.io/docs/quickstart

Docker Compose:https://docs.docker.com/compose/install/linux/

DataHub安装配置详细过程:https://blog.csdn.net/Forget_Ying/article/details/119870931

元数据管理Datahub基于Docker进行部署:http://www.pczh.cn/news/26343.html

相关内容

热门资讯

今年贵州科学城先进装备制造产业... 转自:贵州日报贵州科学城一角(本报资料图)。 本报讯 记者12月18日从贵州科学城服务中心获...
富国上证科创板200交易型开放... 富国上证科创板200交易型开放式指数证券投资基金发起式联接基金基金合同全文和招募说明书全文于2025...
消失的“红牌楼”,被一首诗留住... “红牌楼”成了成都的一处文化符号。图据成都方志如今的红牌楼立交桥。图据《成都市武侯区志》改建前的川藏...
美军称再次对一艘“贩毒船”发动...   美军南方司令部12月17日在其官网上发布消息说,“南方之矛”联合特遣部队当天在国际水域对一艘“被...
SpaceX上市预期升温之际 ...   马斯克正向投资者兜售无人驾驶汽车、机器人助手以及火星生活的未来图景。但对投资者而言,问题在于,要...