hadoop2.8安裝教程

centos7中handoop2.8集群安裝手記。hadoop2.8 安裝教程、hadoop安裝。

東西/原料

Hadoop擺設籌辦當地vmware安裝 Linux系統家族中 centos7
Java對應版本1.8.0_121
Hadoop版本2.8.0

1.根基設置裝備擺設

1
起首安裝一個centos7并設置裝備擺設好java
Java情況設置裝備擺設
我的java安裝地址 /usr/java/ jdk1.8.0_121

編纂java情況 vi ~/.bash_profile
添加或點竄
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH=$JAVA_HOME/bin:$PATH
執行 . ~/.bash_profile 使變量生效

2.ssh設置裝備擺設

先 yum install ssh 安裝

然后執行
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
生當作密匙

3.hadoop設置裝備擺設

1
把下載好的hadoop解壓出來。（我的地址在/roo目次,即完整地址/root/hadoop）

設置裝備擺設情況變量
vi ~/.bash_profile
export HADOOP_HOME=/root/hadoop
export PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin
執行 . ~/.bash_profile 使變量生效

4.hadoop文件設置裝備擺設

1
vim etc/hadoop/core-site.xml

在<configuration></configuration>中插手
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://s204:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/root/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
<property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>

    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>
2
vim etc/hadoop/hdfs-site.xml
在<configuration></configuration>中插手

<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/root/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/root/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>s204:9001</value>
    </property>
    <property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
3
vim etc/hadoop/mapred-site.xml
在<configuration></configuration>中插手

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>s204:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>s204:19888</value>
    </property>
4
vim etc/hadoop/yarn-site.xml
在<configuration></configuration>中插手
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>s204:8032</value>
    </property>
   <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>s204:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>s204:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>s204:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>s204:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>6078</value>
    </property>
5
vim etc/hadoop/yarn-env.sh

中找到 export JAVA_HOME 去失落注釋
編纂java地址 export JAVA_HOME=/usr/java/jdk1.8.0_121

找到JAVA_HEAP_MAX=-Xmx1000m
改為 JAVA_HEAP_MAX=-Xmx1024m
6
vim etc/hadoop/slaves

清空添加 s204

收集設置裝備擺設

1
我這ip是 192.168.5.9

編纂收集固心猿意馬ip
vim /etc/sysconfig/network-scripts/ifcfg-ens33

指心猿意馬固心猿意馬ip

TYPE="Ethernet"
#BOOTPROTO="dhcp"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="b9fe1e5c-be20-47f1-a2d3-e12f5ddb6aa1"
DEVICE="ens33"
ONBOOT="yes"
IPADDR0=192.168.5.9
PREFIX0=24
GATEWAY0=192.168.5.2
DNS1=114.114.114.114

然后重啟收集 systemctl restart network

執行 ip add 查看收集ip是否和設心猿意馬的一致

Hadopp啟動

1

進入/root/hadoop目次

執行編譯
./bin/hdfs namenode –format

成果倒數第五行呈現
Exiting with status 0 則為當作功

然后啟動
./sbin/start-all.sh

啟動完畢執行./bin/hdfs dfsadmin –report 查看是否有節點
若是返回無法毗連則為啟動掉敗

執行systemctl stop firewalld.service封閉防火墻在瀏覽器輸入s204:8088則可以看到hadoop界面

其他節點設置裝備擺設

1
以上設置裝備擺設完畢后，封閉centos7
然后完全克隆，在新克隆的系統中，更改ip地址和本家兒機名
此中hadoop設置裝備擺設文件
etc/hadoop/hdfs-site.xml 中 <property>
<name>dfs.datanode.data.dir</name>
<value>file:/root/hadoop/hdfs/data</value>
</property>

的file地址不克不及一樣。
我這邊三個地址別離為
file:/root/hadoop/hdfs/data
file:/root/hadoop/hdfs/data/205
file:/root/hadoop/hdfs/data/206

克隆完畢，設置裝備擺設文件和ip、本家兒機名點竄好后。在s204機械中編纂
vim etc/hadoop/slaves
插手
s205
s206
復制ssh令牌免密登錄
例如復制到s205
scp ~/.ssh/authorized_keys root@s205:~/.ssh/
其他機械也一樣操作

別的連個機械也要編譯一下

然后在s204遏制hadoop

./sbin/stop-all.sh

再次啟動./sbin/start-all.sh

在瀏覽器就可以看到三個節點。