Hadoop2.7.3完全分布式搭建配置參數

國賽前夕，寫文章加順便背Hadoop2.7.3完全分布式搭建配置參數，希望能好運。

所有的東西都是經過實測的，乾貨開始：
完全分布式一共需配置6個文件。分別是：hadoop-env.sh,core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml,slaves。
首先搭建完全分布式hadoop和偽分布式hadoop的區別是兩台虛擬機節點間一定要達到以下幾個要求。
1. 互ping的通
2. 修改過/etc/hosts文件，進行ip映射
3. 修改過/etc/hostname文件，並且sudo hostname xxxxx 修改主機名。
4. master節點可以免密登錄slave節點

那麼首先先說明本機的hadoop的安裝為：/home/master/hadoop
jdk安裝路徑為：/home/master/jdk
主機名為：master和slave

那麼開始，hadoop-env.sh中需要把

export JAVA_HOME=${JAVA_HOME}

替換成

export JAVA_HOME=/真實的jdk路徑

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://你的主機名:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/master/hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <proerty>
        <name>dfs.replication</name>
        <value>1</value>
    </proerty>
</configuration>

yarn-site.xml

<configuration>
    <proerty>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </proerty>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

slaves

slave

隨後執行hdfs namenode -format進行hdfs初始格式化，再執行sbin/start-all.sh啟動集群，用jps命令檢視進程數是否正確。

個人博客

更多前端技術文章、美術設計、wordpress外掛、優化教程、學習筆記盡在我的個人博客喵容 – 和你一起描繪生活，歡迎一起交流學習，一起進步：https://www.miaoroom.com