伪分布式集群的环境搭建
创始人
2024-06-02 03:44:13

本作者只是在这里做一个学习记录,也希望大家在安装伪分布式的时候能够帮助到大家。

1.首先JAVA环境变量配置

将JavaJDK传到虚拟机的/home/hadoop/software/目录下面(这里用的是MobaXterm软件可以直接拖拉传文件,不要用WinSCP软件传Windows的文件到虚拟机上面)

2. 把压缩包传到虚拟机以后,用tar目录解压JDK1.8.zip压缩包,压缩后用MV命令将解压后的名字改为jdk1.8

3. 进入home/hadoop/software/hadoop-3.3.0/etc/hadoop/目录,配置Hadoop环境变量(如果不是我的这个路径存放的位置,那么需要进入自己创建路径的位置)

(1)配置core-site.xml文件内容

在文件里面添加以下内容并且需要在相应的文件路径下面创建一个目录(不是我的文件路径下,需要更改文件路径)



fs.defaultFS
hdfs://hadooptest:9000


hadoop.tmp.dir
/home/hadoop/software/hadooptmp

(2)配置hdfs-site.xml 的文件内容 ,在文档里面添加以下内容



dfs.replication
1

(3)配置mapred-site.xml 内容,在该文件配置以下内容


mapreduce.framework.nameyarn

(4)配置yarn-site.xml 文件内容,在对应文件下面配置以下内容:


yarn.nodemanager.aux-services
mapreduce_shuffle

(5)配置Hadoop的环境变量,在nano ~/.bash_profile或者在nano /etc/profile

nano ~/.bash_profile
nano /etc/profile

(6)绑定主机名,用hostname先查看自己的主机名,然后nano workers绑定自己的主机名。

(7)格式化HDFS

配置这些过后的话,用下面的命令就可以成功运行伪分布式集群了

start-all.sh

4.除此之外,我在配置hadoop伪分布式的过程当中,遇到的一下问题:

1.运行Start-all.sh启动伪分布式集群

在编译的时候出现了下面的问题,然后百度后,原来是我的hdfs.site.xml出现了问题,于是重新配置了一遍配置文件。

2.解决了上面的问题过后,于是有出现了下面的问题,我还也为是我自己的其他文件出现了问题,于是我把报错出去百度一下,发现,这台虚拟机是我重新配置的,并没有配置免秘钥,导致我的权限不够,于是我重新配置了一次免秘钥。

3.于是重新运行start-all.sh文件,并且最后通过自己的jps命令,成功验证了自己的jps伪分布式集群

恭喜成功配置成功了我的伪分布式集群😄😄😄!!!!!!

相关内容

热门资讯

中衡设计(603017.SH)... 格隆汇4月22日丨中衡设计(603017.SH)发布2025年年报显示,公司全年实现营业收入11.7...
海港人寿总经理变更:齐美祝任临...   炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!   每经记者|涂颖浩...
出息了!德国市长试乘贵州造无人...   2026年4月21日,德国东部城市开姆尼茨。市政厅门前,一辆圆润的胶囊状小巴缓缓驶出。车内坐着三...
谷歌推出AI训练与推理专用芯片...   核心要点谷歌将推出一款专门运行人工智能模型的芯片,同时推出另一款独立处理器用于模型训练。亚马逊也...
龙腾光电修订公司章程及多项治理... 4月23日,龙腾光电(证券代码:688055)发布公告称,公司于2026年4月22日召开第三届董事会...