Hadoop2.7.3完全分布式搭建配置參數

Hadoop2.7.3完全分布式搭建配置參數

資源介紹參數
資源類別: 代碼筆記
如遇問題: 聯繫客服/留言反饋
釋放雙眼,帶上耳機,聽聽看~!

hadoop

國賽前夕,寫文章加順便背Hadoop2.7.3完全分布式搭建配置參數,希望能好運。

所有的東西都是經過實測的,乾貨開始:
完全分布式一共需配置6個文件。分別是:hadoop-env.sh,core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml,slaves
首先搭建完全分布式hadoop和偽分布式hadoop的區別是兩台虛擬機節點間一定要達到以下幾個要求。
1. 互ping的通
2. 修改過/etc/hosts文件,進行ip映射
3. 修改過/etc/hostname文件,並且sudo hostname xxxxx 修改主機名。
4. master節點可以免密登錄slave節點

那麼首先先說明本機的hadoop的安裝為:/home/master/hadoop
jdk安裝路徑為:/home/master/jdk
主機名為:master和slave


那麼開始,hadoop-env.sh中需要把

export JAVA_HOME=${JAVA_HOME}

替換成

export JAVA_HOME=/真實的jdk路徑

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://你的主機名:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/master/hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <proerty>
        <name>dfs.replication</name>
        <value>1</value>
    </proerty>
</configuration>

yarn-site.xml

<configuration>
    <proerty>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </proerty>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

slaves

slave

隨後執行hdfs namenode -format進行hdfs初始格式化,再執行sbin/start-all.sh啟動集群,用jps命令檢視進程數是否正確。

個人博客

更多前端技術文章美術設計wordpress外掛、優化教程學習筆記盡在我的個人博客喵容 – 和你一起描繪生活,歡迎一起交流學習,一起進步:https://www.miaoroom.com

聲明:本文為原創作品,版權歸作者所有。未經許可,不得轉載或用於任何商業用途。如若本站內容侵犯了原著者的合法權益,可聯繫我們進行處理。

給TA打賞
共{{data.count}}人
人已打賞
0 條回復 A文章作者 M管理員
    暫無討論,說說你的看法吧
個人中心
購物車
優惠劵
今日簽到
有新私信 私信列表
搜尋