目录
介绍
版本
优势
大数据技术生态体系
推荐系统
运行
关闭防火墙和开机自启
systemctl stop firewalld
systemctl disable firewalld.service
注意:在企业开发时,通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安 全的防火墙 修改克隆虚拟机的静态IP vim /etc/sysconfig/network-scripts/ifcfg-ens33
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2
修改虚拟网络编辑器
修改Windows 系统适配器 VMware Network Adapter VMnet8 的 IP 地址 修改主机名修改主机名
vim /etc/hostname
配置主机映射hosts文件
vim /etc/hosts192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108重启克隆机
reboot
修改windows
C:\Windows\System32\drivers\etc
hosts 文件
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
如果操作系统是 window10,先拷贝出来,修改保存以后,再覆盖即可
安装
cd /opt/software/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/sudo vim /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbinsource /etc/profile
目录结构
bin 目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本 etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件 lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能) sbin 目录:存放启动或停止 Hadoop 相关服务的脚本 share 目录:存放 Hadoop 的依赖 jar 包、文档、和官方案例