Hadoophdfs搭棚

一、介绍Linux

Linux是一款开源免费的操作系统。Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。目前市面上较知名的发行版有：Ubuntu、RedHat、CentOS、Debain、Fedora、SuSE、OpenSUSE。
二、VMwareWorkstation 虚拟机安装

这里推荐https://www.jb51.net/article/169669.htm的安装教程，就不再多赘述了。
三、为虚拟机安装Centos操作系统

这里推荐https://blog.csdn.net/guo_ridgepole/article/details/78973763的安装教程，就不再多赘述了。
四、网络连接模式（个人选择的桥接模式）
Hadoophdfs搭棚
五、虚拟机环境准备

1.克隆虚拟机并修改静态ip，这里搭建集群需要三台或者多台（但必须是单数的）https://blog.csdn.net/qq_42774325/article/details/81189033

2.修改主机名
vim /etc/hostanme向其中加入自己想要取的主机名master，另外两台分别为slaver01和slaver02，修改之后重启一下。

3.添加主机映射
vim /etc/hosts

192.168.3.22 master
192.168.3.23 slaver01
192.168.3.24 slaver02

4.关闭防火墙
systemctl service firewall

5.设置ssh免密登录

ssh免密登录

ssh-keygen -t rsa
ssh-copy-id master
ssh-copy-id slaver01
ssh-copy-id slaver02

另外两台机子重复类似操作。
六、安装JDK

1.卸载原有的jdk
rpm -qa |grep java |xargs prm -e --nodeps

2.解压（这里的包是已经在opt目录下的，我在opt目录下创建的module文件夹，专门存放大数据集群或组件的安装目录）
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

3.改名
mv jdk1.8.0_231/ /opt/module/java

4/添加配置 vim /etc/profile

#JAVA_HOME
export JAVA_HOME=/opt/module/java
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效：source /etc/profile

5.测试是否安装成功
java -version
七、安装Hadoop

1解压
tar -zxvf /opt/hadoop-2.7.5.tar.gz -C /opt/module

2改名
mv hadoop-2.7.5/ /opt/module/hadoop

3修改配置 vim /etc/profile

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

生效：source /etc/profile

4测试
hadoop version
八、修改Hadoop配置

1.配置core-site.xml
vim core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop/data/tmp</value>
</property>

2.配置hadoop-env.sh,添加jdk路径。
vim hadoop-env.sh
export JAVA_HOME=/opt/module/java

3.配置hdfs-site.xml
vim hdfs-site.xml 

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slaver02:50090</value>
</property>

4.配置yarn-env.sh,添加jdk路径
vim yarn-env.sh
export JAVA_HOME=/opt/module/java

5.配置yarn-site.xml
vim yarn-site.xml

在该文件中增加如下配置

<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>slaver01</value>
</property>

6配置mapred-env.sh，添加jdk路径。
vim mapred-env.sh
export JAVA_HOME=/opt/module/java

7配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

在该文件中增加如下配置

<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

九、分发集群

scp -r /opt/module  root@slaver01:/opt/module
scp -r /opt/module  root@slaver02:/opt/module

在每个从节点使环境变量生效：source /etc/profile
十、启动hadoop集群

1.首先格式化hadoop集群
hadoop namenode -format

2.启东hadoop，进入sbin目录下
./start-all.sh

3.检查服务
jps

以上是 Hadoophdfs搭棚 的全部内容， 来源链接： utcz.com/a/64809.html

回到顶部