Hadoop单机版和全分布式(集群)安装
Hadoop，分布式的大数据存储和计算, 免费开源！有Linux基础的同学安装起来比较顺风顺水，写几个配置文件就可以启动了，本人菜鸟，所以写的比较详细。为了方便，本人使用三台的虚拟机系统是Ubuntu-12。设置虚拟机的网络连接使用桥接方式，这样在一个局域网方便调试。单机和集群安装相差不多，先说单机然后补充集群的几点配置。
第一步，先安装工具软件编辑器：vim
复制代码 代码如下:
sudo apt-get install vim
ssh服务器: openssh，先安装ssh是为了使用远程终端工具（putty或xshell等），这样管理虚拟机就方便多了。复制代码 代码如下:
sudo apt-get install openssh-server
第二步，一些基本设置最好给虚拟机设置固定IP
复制代码 代码如下:
sudo vim /etc/network/interfaces加入以下内容：iface eth0 inet staticaddress 192.168.0.211gateway 192.168.0.222netmask 255.255.255.0
修改机器名，我这里指定的名字是：hadoopmaster ，以后用它做namenode复制代码 代码如下:
sudo vim /etc/hostname
修改hosts，方便应对IP变更，也方便记忆和识别复制代码 代码如下:
sudo vim /etc/hosts加入内容：192.168.0.211 hadoopmaster
第三步，添加一个专门为hadoop使用的用户
复制代码 代码如下:
sudo addgroup hadoopsudo adduser -ingroup hadoop hadoop
设置hadoop用户的sudo权限复制代码 代码如下:
sudo vim /etc/sudoers
在 root ALL=(ALL:ALL)下面加一行 hadoop ALL=(ALL:ALL)切换到hadoop用户 su hadoop第四步，解压安装JDK，HADOOP，PIG(顺便把PIG也安装了)
复制代码 代码如下:
sudo tar zxvf ./jdk-7-linux-i586.tar.gz -C /usr/local/jvm/sudo tar zxvf ./hadoop-1.0.4.tar.gz -C /usr/local/hadoopsudo tar zxvf ./pig-0.11.1.tar.gz -C /usr/local/pig
修改解压后的目录名并且最终路径为：复制代码 代码如下:
jvm: /usr/local/jvm/jdk7hadoop: /usr/local/hadoop/hadoop （注意：hadoop所有节点的安装路径必须相同）pig: /usr/local/pig
设置目录所属用户复制代码 代码如下:
sudo chown -R hadoop:hadoop jdk7sudo chown -R hadoop:hadoop hadoopsudo chown -R hadoop:hadoop pig
设置环境变量, 编辑~/.bashrc 或 ~/.profile 文件加入复制代码 代码如下:
export JAVA_HOME=/usr/local/jvm/jdk7export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATHexport HADOOP_INSTALL=/usr/local/hadoop/hadoopexport PATH=${HADOOP_INSTALL}/bin:$PATHsource ~/.profile 生效
第五步，.ssh无密码登录本机，也就是说ssh到本机不需要密码
复制代码 代码如下:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
如果不起作用请修改权限：复制代码 代码如下:
chmod 700 ~/.sshchmod 600 ~/.ssh/authorized_keys
authorized_keys相当于白名单，id_rsa.pub是公钥，凡是在authorized_keys有请求者机器的公钥时ssh服务器直接放行，无需密码！第六步，Hadoop必要设置所有设置文件在hadoop/conf目录下1、hadoop-env.sh 找到 #export JAVA_HOME 去掉注释#，并设置实际jdk路径2、core-site.xml
复制代码 代码如下:
<property><name>fs.default.name</name><value>hdfs://hadoopmaster:9000</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property>
3、mapred-site.xml复制代码 代码如下:
<property><name>mapred.job.tracker</name><value>hadoopmaster:9001</value></property>
4、hdfs-site.xml复制代码 代码如下:
<property><name>dfs.name.dir</name><value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value></property><property><name>dfs.data.dir</name><value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value></property><property><name>dfs.replication</name><value>1</value></property>
5、文件masters 和 文件slaves， 单机写 localhost 即可第七步，启动Hadoop格式化Hadoop的HDFS文件系统
复制代码 代码如下:
hadoop namenode -format
执行Hadoop启动脚本，如果是集群的话在master上执行，其他slave节点Hadoop会通过ssh执行：复制代码 代码如下:
start-all.sh
执行命令 jps 如果显示有： Namenode，SecondaryNameNode，TaskTracker，DataNode，JobTracker等五个进程表示启动成功了！第八步，集群的配置所有其他单机的安装跟上面相同，下面只增加集群的额外配置！最好先配置好一台单机，其他的可以通过scp直接复制，路径也最好相同包括java！本例的主机列表（设置hosts）：
设置ssh，让master能够不要密码登录到其他slaves上，主要用来启动slaves
复制代码 代码如下:
复制hadoopmaster下id_rsa.pub到子结点：scp ./ssh/id_rsa.pub hadoopnode1:/home/hadoop/.ssh/id_masterscp ./ssh/id_rsa.pub hadoopnode2:/home/hadoop/.ssh/id_master
分别在子结点~/.ssh/目录下执行：cat ./id_master >> authorized_keys
Hadoop管理hadoop启动后会启动一个任务管理服务和一个文件系统管理服务，是两个基于JETTY的WEB服务，所以可在线通过WEB的方式查看运行情况。任务管理服务运行在50030端口，如 http://127.0.0.1:50030文件系统管理服务运行在50070端口。
参数说明：1、dfs.name.dir：是NameNode持久存储名字空间及事务日志的本地文件系统路径。 当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。2、dfs.data.dir：是DataNode存放块数据的本地文件系统路径，逗号分割的列表。 当这个值是逗号分割的目录列表时，数据将被存储在所有目录下，通常分布在不同设备上。3、dfs.replication：是数据需要备份的数量，默认是3，如果此数大于集群的机器数会出错。
以上是 Hadoop单机版和全分布式(集群)安装 的全部内容，
来源链接：
utcz.com/a/255230.html
