Hadoop2.7.3完全分布式搭建配置参数

hadoop

国赛前夕,写文章加顺便背Hadoop2.7.3完全分布式搭建配置参数,希望能好运。

所有的东西都是经过实测的,干货开始:
完全分布式一共需配置6个文件。分别是:hadoop-env.sh,core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml,slaves
首先搭建完全分布式hadoop和伪分布式hadoop的区别是两台虚拟机节点间一定要达到以下几个要求。
1. 互ping的通
2. 修改过/etc/hosts文件,进行ip映射
3. 修改过/etc/hostname文件,并且sudo hostname xxxxx 修改主机名。
4. master节点可以免密登录slave节点

那么首先先说明本机的hadoop的安装为:/home/master/hadoop
jdk安装路径为:/home/master/jdk
主机名为:master和slave


那么开始,hadoop-env.sh中需要把

export JAVA_HOME=${JAVA_HOME}

替换成

export JAVA_HOME=/真实的jdk路径

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://你的主机名:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/master/hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <proerty>
        <name>dfs.replication</name>
        <value>1</value>
    </proerty>
</configuration>

yarn-site.xml

<configuration>
    <proerty>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </proerty>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

slaves

slave

随后执行hdfs namenode -format进行hdfs初始格式化,再执行sbin/start-all.sh启动集群,用jps命令查看进程数是否正确。

个人博客

更多前端技术文章美术设计wordpress插件、优化教程学习笔记尽在我的个人博客喵容 - 和你一起描绘生活,欢迎一起交流学习,一起进步:https://www.miaoroom.com

站内文章推荐:

「2018年前端面试知识点」最新汇总

超级好用的开发工具,程序员实用工具整理

hive-2.1.1完全分布式搭建

spark完全分布式 如何搭建和使用spark完全分布式

vue中Axios的封装和API接口的管理

参与评论