伪分布式集群的环境搭建
创始人
2024-06-02 03:44:13
0

本作者只是在这里做一个学习记录,也希望大家在安装伪分布式的时候能够帮助到大家。

1.首先JAVA环境变量配置

将JavaJDK传到虚拟机的/home/hadoop/software/目录下面(这里用的是MobaXterm软件可以直接拖拉传文件,不要用WinSCP软件传Windows的文件到虚拟机上面)

2. 把压缩包传到虚拟机以后,用tar目录解压JDK1.8.zip压缩包,压缩后用MV命令将解压后的名字改为jdk1.8

3. 进入home/hadoop/software/hadoop-3.3.0/etc/hadoop/目录,配置Hadoop环境变量(如果不是我的这个路径存放的位置,那么需要进入自己创建路径的位置)

(1)配置core-site.xml文件内容

在文件里面添加以下内容并且需要在相应的文件路径下面创建一个目录(不是我的文件路径下,需要更改文件路径)



fs.defaultFS
hdfs://hadooptest:9000


hadoop.tmp.dir
/home/hadoop/software/hadooptmp

(2)配置hdfs-site.xml 的文件内容 ,在文档里面添加以下内容



dfs.replication
1

(3)配置mapred-site.xml 内容,在该文件配置以下内容


mapreduce.framework.nameyarn

(4)配置yarn-site.xml 文件内容,在对应文件下面配置以下内容:


yarn.nodemanager.aux-services
mapreduce_shuffle

(5)配置Hadoop的环境变量,在nano ~/.bash_profile或者在nano /etc/profile

nano ~/.bash_profile
nano /etc/profile

(6)绑定主机名,用hostname先查看自己的主机名,然后nano workers绑定自己的主机名。

(7)格式化HDFS

配置这些过后的话,用下面的命令就可以成功运行伪分布式集群了

start-all.sh

4.除此之外,我在配置hadoop伪分布式的过程当中,遇到的一下问题:

1.运行Start-all.sh启动伪分布式集群

在编译的时候出现了下面的问题,然后百度后,原来是我的hdfs.site.xml出现了问题,于是重新配置了一遍配置文件。

2.解决了上面的问题过后,于是有出现了下面的问题,我还也为是我自己的其他文件出现了问题,于是我把报错出去百度一下,发现,这台虚拟机是我重新配置的,并没有配置免秘钥,导致我的权限不够,于是我重新配置了一次免秘钥。

3.于是重新运行start-all.sh文件,并且最后通过自己的jps命令,成功验证了自己的jps伪分布式集群

恭喜成功配置成功了我的伪分布式集群😄😄😄!!!!!!

相关内容

热门资讯

好看的免费言情小说 好看的免费言情小说去派派小说论坛~如果是用手机看的话,去奇迹网吧。
玩我的世界有什么好处(别弄那些... 玩我的世界有什么好处(别弄那些没有用的)。孩子会更聪明在目前画面越弄越真的情况下 我的世界的马赛克风...
周一有1只新股申购,上半年新股... 转自:扬子晚报记者据同花顺iFinD查询,按照目前安排,下周(7月7日-11日)只有一只新股申购,是...
以色列与哈马斯将在周日进行谈判... 格隆汇7月6日|尽管以色列宣称哈马斯要求对美国支持的停火方案做出的改变是“不可接受的”,以色列仍将于...
【华创金融 徐康团队】CIPS... (转自:小康金融)市场回顾: 2025/6/30-2025/7/6,主要指数沪深300上涨1.54%...
台风“丹娜丝”预计今夜登陆台湾... 目前,“丹娜丝”已于今晨由强热带风暴级加强为台风级。今天13时,距离台湾高雄市西偏南方向约180公里...
郑源的现状,刀郎的现状,庞龙的... 郑源的现状,刀郎的现状,庞龙的现状,曾经很火的歌星现在都过的怎么样了?这几个人的现状大不相同,郑源还...
突发!百亿市值A股,将被*ST... 天茂集团(000627)因无法在法定期限披露2024年年报和2025年一季报,自5月6日起停牌,7月...
陈茂波:港股上半年IPO集资额... 香港特区政府财政司司长陈茂波7月6日表示,港股势头持续向好,新股市场活跃,上半年共完成42宗首次公开...
2020年互联网创业项目,个人... 关于题主的这个问题,作为一名资深混迹互联网行业的老司机,对于网赚行业的产品逻辑和运营手段,其实是有非...