伪分布式集群的环境搭建
创始人
2024-06-02 03:44:13
0

本作者只是在这里做一个学习记录,也希望大家在安装伪分布式的时候能够帮助到大家。

1.首先JAVA环境变量配置

将JavaJDK传到虚拟机的/home/hadoop/software/目录下面(这里用的是MobaXterm软件可以直接拖拉传文件,不要用WinSCP软件传Windows的文件到虚拟机上面)

2. 把压缩包传到虚拟机以后,用tar目录解压JDK1.8.zip压缩包,压缩后用MV命令将解压后的名字改为jdk1.8

3. 进入home/hadoop/software/hadoop-3.3.0/etc/hadoop/目录,配置Hadoop环境变量(如果不是我的这个路径存放的位置,那么需要进入自己创建路径的位置)

(1)配置core-site.xml文件内容

在文件里面添加以下内容并且需要在相应的文件路径下面创建一个目录(不是我的文件路径下,需要更改文件路径)



fs.defaultFS
hdfs://hadooptest:9000


hadoop.tmp.dir
/home/hadoop/software/hadooptmp

(2)配置hdfs-site.xml 的文件内容 ,在文档里面添加以下内容



dfs.replication
1

(3)配置mapred-site.xml 内容,在该文件配置以下内容


mapreduce.framework.nameyarn

(4)配置yarn-site.xml 文件内容,在对应文件下面配置以下内容:


yarn.nodemanager.aux-services
mapreduce_shuffle

(5)配置Hadoop的环境变量,在nano ~/.bash_profile或者在nano /etc/profile

nano ~/.bash_profile
nano /etc/profile

(6)绑定主机名,用hostname先查看自己的主机名,然后nano workers绑定自己的主机名。

(7)格式化HDFS

配置这些过后的话,用下面的命令就可以成功运行伪分布式集群了

start-all.sh

4.除此之外,我在配置hadoop伪分布式的过程当中,遇到的一下问题:

1.运行Start-all.sh启动伪分布式集群

在编译的时候出现了下面的问题,然后百度后,原来是我的hdfs.site.xml出现了问题,于是重新配置了一遍配置文件。

2.解决了上面的问题过后,于是有出现了下面的问题,我还也为是我自己的其他文件出现了问题,于是我把报错出去百度一下,发现,这台虚拟机是我重新配置的,并没有配置免秘钥,导致我的权限不够,于是我重新配置了一次免秘钥。

3.于是重新运行start-all.sh文件,并且最后通过自己的jps命令,成功验证了自己的jps伪分布式集群

恭喜成功配置成功了我的伪分布式集群😄😄😄!!!!!!

相关内容

热门资讯

中证A500ETF摩根(560... 8月22日,截止午间收盘,中证A500ETF摩根(560530)涨1.19%,报1.106元,成交额...
A500ETF易方达(1593... 8月22日,截止午间收盘,A500ETF易方达(159361)涨1.28%,报1.104元,成交额1...
何小鹏斥资约2.5亿港元增持小... 每经记者|孙磊    每经编辑|裴健如 8月21日晚间,小鹏汽车发布公告称,公司联...
中证500ETF基金(1593... 8月22日,截止午间收盘,中证500ETF基金(159337)涨0.94%,报1.509元,成交额2...
中证A500ETF华安(159... 8月22日,截止午间收盘,中证A500ETF华安(159359)涨1.15%,报1.139元,成交额...
科创AIETF(588790)... 8月22日,截止午间收盘,科创AIETF(588790)涨4.83%,报0.760元,成交额6.98...
创业板50ETF嘉实(1593... 8月22日,截止午间收盘,创业板50ETF嘉实(159373)涨2.61%,报1.296元,成交额1...
港股异动丨航空股大幅走低 中国... 港股航空股大幅下跌,其中,中国国航跌近7%表现最弱,中国东方航空跌近5%,中国南方航空跌超3%,美兰...
电网设备ETF(159326)... 8月22日,截止午间收盘,电网设备ETF(159326)跌0.25%,报1.198元,成交额409....
红利ETF国企(530880)... 8月22日,截止午间收盘,红利ETF国企(530880)跌0.67%,报1.034元,成交额29.0...