伪分布式集群的环境搭建
创始人
2024-06-02 03:44:13

本作者只是在这里做一个学习记录,也希望大家在安装伪分布式的时候能够帮助到大家。

1.首先JAVA环境变量配置

将JavaJDK传到虚拟机的/home/hadoop/software/目录下面(这里用的是MobaXterm软件可以直接拖拉传文件,不要用WinSCP软件传Windows的文件到虚拟机上面)

2. 把压缩包传到虚拟机以后,用tar目录解压JDK1.8.zip压缩包,压缩后用MV命令将解压后的名字改为jdk1.8

3. 进入home/hadoop/software/hadoop-3.3.0/etc/hadoop/目录,配置Hadoop环境变量(如果不是我的这个路径存放的位置,那么需要进入自己创建路径的位置)

(1)配置core-site.xml文件内容

在文件里面添加以下内容并且需要在相应的文件路径下面创建一个目录(不是我的文件路径下,需要更改文件路径)



fs.defaultFS
hdfs://hadooptest:9000


hadoop.tmp.dir
/home/hadoop/software/hadooptmp

(2)配置hdfs-site.xml 的文件内容 ,在文档里面添加以下内容



dfs.replication
1

(3)配置mapred-site.xml 内容,在该文件配置以下内容


mapreduce.framework.nameyarn

(4)配置yarn-site.xml 文件内容,在对应文件下面配置以下内容:


yarn.nodemanager.aux-services
mapreduce_shuffle

(5)配置Hadoop的环境变量,在nano ~/.bash_profile或者在nano /etc/profile

nano ~/.bash_profile
nano /etc/profile

(6)绑定主机名,用hostname先查看自己的主机名,然后nano workers绑定自己的主机名。

(7)格式化HDFS

配置这些过后的话,用下面的命令就可以成功运行伪分布式集群了

start-all.sh

4.除此之外,我在配置hadoop伪分布式的过程当中,遇到的一下问题:

1.运行Start-all.sh启动伪分布式集群

在编译的时候出现了下面的问题,然后百度后,原来是我的hdfs.site.xml出现了问题,于是重新配置了一遍配置文件。

2.解决了上面的问题过后,于是有出现了下面的问题,我还也为是我自己的其他文件出现了问题,于是我把报错出去百度一下,发现,这台虚拟机是我重新配置的,并没有配置免秘钥,导致我的权限不够,于是我重新配置了一次免秘钥。

3.于是重新运行start-all.sh文件,并且最后通过自己的jps命令,成功验证了自己的jps伪分布式集群

恭喜成功配置成功了我的伪分布式集群😄😄😄!!!!!!

相关内容

热门资讯

上海书展明日如约而至 记者提前... 2026上海书展暨书香中国上海周,将于明天开幕。今年书展主会场仍为上海展览中心和上海书城双主场,目前...
南天信息董事会换届选举:候选人... 8月11日,南天信息(000948)发布公告,公司第九届董事会任期即将届满,决定进行董事会换届选举。...
24岁中国女子赴泰国后失联,我... 据央视新闻,当地时间8月11日,就网络关注的中国女性祁萌赴泰后失联一事,中国驻泰国使馆向总台记者确认...
宝鼎科技澄清:未接触英伟达,无... 8月11日,宝鼎科技(维权)(002552)发布公告,公司股票在2026年8月7日、10日和11日连...
宇树科技中签号出炉 中签号码共... 观点网讯:8月11日晚间,宇树科技网上摇号中签结果出炉,中签号码共有19414个,每个中签号码只能认...