Hadoop2.7.3完全分布式搭建配置参数

国赛前夕，写文章加顺便背Hadoop2.7.3完全分布式搭建配置参数，希望能好运。

所有的东西都是经过实测的，干货开始：
完全分布式一共需配置6个文件。分别是：hadoop-env.sh,core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml,slaves。
首先搭建完全分布式hadoop和伪分布式hadoop的区别是两台虚拟机节点间一定要达到以下几个要求。
1. 互ping的通
2. 修改过/etc/hosts文件，进行ip映射
3. 修改过/etc/hostname文件，并且sudo hostname xxxxx 修改主机名。
4. master节点可以免密登录slave节点

那么首先先说明本机的hadoop的安装为：/home/master/hadoop
jdk安装路径为：/home/master/jdk
主机名为：master和slave

那么开始，hadoop-env.sh中需要把

export JAVA_HOME=${JAVA_HOME}

替换成

export JAVA_HOME=/真实的jdk路径

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://你的主机名:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/master/hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <proerty>
        <name>dfs.replication</name>
        <value>1</value>
    </proerty>
</configuration>

yarn-site.xml

<configuration>
    <proerty>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </proerty>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

slaves

slave

随后执行hdfs namenode -format进行hdfs初始格式化，再执行sbin/start-all.sh启动集群，用jps命令查看进程数是否正确。

个人博客

更多前端技术文章、美术设计、wordpress插件、优化教程、学习笔记尽在我的个人博客喵容 – 和你一起描绘生活，欢迎一起交流学习，一起进步：https://www.miaoroom.com