虛擬機：Hadoop集群的配置

一、配置Hadoop集群主節(jié)點

修改hadoop-env.sh文件

先進入到主節(jié)點hadoop01解壓包etc/hadoop/目錄，使用vihadoop-env.sh指令打開hadoop-env.sh文件，找到JAVA_HOME參數(shù)位置，進入如下修改：

exportJAVA_HOME=/export/servers/jdk

修改core-site.xml文件

該文件是Hadoop核心配置文件，其目的是配置HDFS地址、端口號，以及臨時文件目錄。使用vicore-site.xml打開文件，配置內(nèi)容如下

《configuration》

《property》

《name》fs.defaultFS《/name》《value》hdfs://hadoop01:9000《/value》

《/property》《property》《name》hadoop.tmp.dir《/name》《value》/export/servers/hadoop-2.9.1/tmp《/value》《/property》《/configuration》

修改hdfs-site.xml文件

主要是設(shè)置namenode和datanode進程，使用vihdfs-site.xml指令打開該配置文件，配置內(nèi)容如下：

《configuration》《property》《name》dfs.replication《/name》《value》3《/value》《/property》《property》《name》dfs.namenode.secondary.http-address《/name》《value》hadoop02:50090《/value》《/property》《/configuration》

修改mapred-site.xml文件

該文件是MapReduce的核心配置文件，用于指定MapReduce運行時的框架，需要先通過cpmapred-site.xml.templatemapred-site.xml命令將文件復(fù)制并重命名為mapred-site.xml。接著，使用vimapred-site.xml指令打開mapred-site.xml文件進行修改，添加如下配置內(nèi)容：

《configuration》《property》《name》mapreduce.framework.name《/name》《value》yarn《/value》《/property》《/configuration》

編寫yarn-site.xml文件

本文件是YARN框架的核心配置文件，需要指定YARN集群管理者，使用viyarn-site.xml指令打開該配置文件進行修改，添加如下配置內(nèi)容：

《configuration》《property》《name》yarn.resourcemanager.hostname《/name》《value》hadoop01《/value》《/property》《property》《name》yarn.nodemanager.aux-services《/name》《value》mapreduce_shuffle《/value》《/property》《/configuration》

修改slaves文件

該文件用于記錄Hadoop集群所有從節(jié)點的主機名使用vislaves指令打開該配置文件進行修改，添加如下配置內(nèi)容：

hadoop01hadoop02hadoop03

將配置文件發(fā)往各子節(jié)點，用scp命令如下：

scp/etc/profilehadoop02:/etc/profilescp/etc/profilehadoop03:/etc/profilescp-r/export/hadoop02:/scp-r/export/hadoop03:/

發(fā)送完配置文件后，要去相應(yīng)的子節(jié)點進行更新，指令如下：

source/etc/profile