搭建5节点hadoop+zookeeper+hbase+spark+kafka+storm(2):Hadoop

本篇介绍Hadoop集群安装。
版本:java 1.8,Hadoop 2.7.3,HBase 1.2.5,Zookeeper 3.4.10,Spark 2.1.1,Scala 2.12.2,Kafka 0.10.2.1,Storm 1.1.0。
以下操作都是以root用户进行,如需用户组和权限设定需自行配置。


1. 概述

hadoop2中NameNode可以有多个(目前只支持2个)。每一个都有相同的职能。一个是active状态的,一个是standby状态的。当集群运行时,只有active状态的NameNode是正常工作的,standby状态的NameNode是处于待命状态的,时刻同步active状态NameNode的数据。一旦active状态的NameNode不能工作,standby状态的NameNode就可以转变为active状态的,就可以继续工作了。
2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制,Quorum Journal Node(JournalNode)集群或者Nnetwork File System(NFS)进行共享。NFS是操作系统层面的,JournalNode是hadoop层面的,我们这里使用JournalNode集群进行数据共享(这也是主流的做法)。JournalNode的架构图如下:

两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息,并且一直监控edit log的变化,把变化应用于自己的命名空间。standby可以确保在集群出错时,命名空间状态已经完全同步了。
对于HA集群而言,确保同一时刻只有一个NameNode处于active状态是至关重要的。否则,两个NameNode的数据状态就会产生分歧,可能丢失数据,或者产生错误的结果。为了保证这点,这就需要利用使用ZooKeeper了。首先HDFS集群中的两个NameNode都在ZooKeeper中注册,当active状态的NameNode出故障时,ZooKeeper能检测到这种情况,它就会自动把standby状态的NameNode切换为active状态。


2. 服务器信息及节点分配

服务器信息:

No Hostname 内网IP 外网IP OS
1 node01 192.168.5.11 192.168.205.50 Centos7
2 node02 192.168.5.12 192.168.205.62 Centos7
3 node03 192.168.5.13 192.168.205.63 Centos7
4 node04 192.168.5.14 192.168.205.70 Centos7
5 node05 192.168.5.15 192.168.205.102 Centos7

节点分配:

节点 node01 node02 node03 node04 node05
namenode YES YES NO NO NO
datanode NO NO YES YES YES
journalnode YES YES YES YES YES
zookeeper YES YES YES YES YES
hbase 主Master 备份Master RegionServer RegionServer RegionServer
spark YES YES YES YES YES
kafka YES YES YES YES YES
storm YES YES YES YES YES

3. 安装Hadoop

3.1 下载安装包

1
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

3.2 创建模板配置文件

需要修改的配置文件为core-site.xml,hadoop-env.sh,hdfs-site.xml,mapred-site.xml,slaves,yarn-env.sh,yarn-site.xml。

3.2.1 core-site.xml

注意hadoop集群中的主机名不能带有下划线。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
<configuration>
<!-- 指定hdfs的nameservice为ctns-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ctns</value>
</property>
<!--指定hadoop数据临时存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/hadoop/tmp</value>
</property>

<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<!--指定zookeeper地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>node01:2181,node02:2181,node03:2181,node04:2181,node05:2181</value>
</property>
</configuration>

3.2.2 hdfs-site.xml

采用双namenode的HA配置:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
<configuration>
<!-- 指定hdfs的nameservice为ctns,需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ctns</value>
</property>
<!-- ctns下面有两个NameNode,分别是node01,node02 -->
<property>
<name>dfs.ha.namenodes.ctns</name>
<value>node01, node02</value>
</property>
<!-- node01 的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ctns.node01</name>
<value>node01:9000</value>
</property>
<!-- node01 的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ctns.node01</name>
<value>node01:50070</value>
</property>
<!-- node02 的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ctns.node02</name>
<value>node02:9000</value>
</property>
<!-- node02 的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ctns.node02</name>
<value>node02:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://node01:8485;node02:8485;node03:8485;node04:8485;node05:8485/ctns</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/hadoop/journal</value>
</property>
<!-- 开启NameNode故障时自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ctns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>

<!-- 当前节点为name节点时的元信息存储路径.这个参数设置为多个目录,那么这些目录下都保存着元信息的多个备份 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/hadoop/hdfs/name</value>
</property>
<!-- 当前节点为data节点时的元信息存储路径.这个参数设置为多个目录,那么这些目录下都保存着数据信息的多个备份 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/hadoop/hdfs/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>

3.2.3 mapred-site.xml

1
2
3
4
5
6
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

3.2.4 yarn-site.xml

采用双resourcemanager的HA配置:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
<configuration>
<property>
<name>yarn.resourcemanager.connect.retry-interval.ms</name>
<value>2000</value>
</property>
<!-- 超时的周期 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 打开高可用 -->
<property>
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 启动故障自动恢复 -->
<property>
<name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-rm-cluster</value>
</property>
<!-- 给yarn cluster 取个名字yarn-rm-cluster -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 给ResourceManager 取个名字 rm1,rm2 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node01</value>
</property>
<!-- 配置ResourceManager rm1 hostname -->
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node02</value>
</property>
<!-- 配置ResourceManager rm2 hostname -->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!-- 启用resourcemanager 自动恢复 -->
<property>
<name>yarn.resourcemanager.zk.state-store.address</name>
<value>node01:2181,node02:2181,node03:2181,node04:2181,node05:2181</value>
</property>
<!-- 配置Zookeeper地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node01:2181,node02:2181,node03:2181,node04:2181,node05:2181</value>
</property>
<!-- 配置Zookeeper地址 -->
<property>
<name>yarn.resourcemanager.address.rm1</name>
<value>node01:8032</value>
</property>
<!-- rm1端口号 -->
<property>
<name>yarn.resourcemanager.scheduler.address.rm1</name>
<value>node01:8034</value>
</property>
<!-- rm1调度器的端口号 -->
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>node01:8088</value>
</property>
<!-- rm1 webapp端口号 -->
<property>
<name>yarn.resourcemanager.address.rm2</name>
<value>node02:8032</value>
</property>
<!-- rm2端口号 -->
<property>
<name>yarn.resourcemanager.scheduler.address.rm2</name>
<value>node02:8034</value>
</property>
<!-- rm2调度器的端口号 -->
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>node02:8088</value>
</property>
<!-- rm2 webapp端口号 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 执行MapReduce需要配置的shuffle过程 -->
</configuration>

3.2.5 slaves

1
2
3
node03
node04
node05

3.2.6 hadoop-env.sh & yarn-env.sh

添加JAVA_HOME:

1
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-3.b12.el7_3.x86_64/jre

3.3 安装部署

写一个简易部署脚本:

hadoop.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# /bin/bash

tar -xvf ./hadoop-2.7.3.tar.gz
mv ./hadoop-2.7.3 /usr/hadoop
mkdir -p /usr/hadoop/hdfs/data /usr/hadoop/hdfs/name /usr/hadoop/tmp
cp -rf ./core-site.xml /usr/hadoop/etc/hadoop/core-site.xml
cp -rf ./hadoop-env.sh /usr/hadoop/etc/hadoop/hadoop-env.sh
cp -rf ./hdfs-site.xml /usr/hadoop/etc/hadoop/hdfs-site.xml
cp -rf ./mapred-site.xml /usr/hadoop/etc/hadoop/mapred-site.xml
cp -rf ./slaves /usr/hadoop/etc/hadoop/slaves
cp -rf ./yarn-env.sh /usr/hadoop/etc/hadoop/yarn-env.sh
cp -rf ./yarn-site.xml /usr/hadoop/etc/hadoop/yarn-site.xml
echo "export HADOOP_HOME=/usr/hadoop" >> /root/.bash_profile
echo "export PATH=\$HADOOP_HOME/bin:\$PATH" >> /root/.bash_profile
echo "export PATH=\$HADOOP_HOME/sbin:\$PATH" >> /root/.bash_profile

修改权限并执行,执行时确保core-site.xml,hadoop-2.7.3.tar.gz,hadoop-env.sh,hadoop.sh,hdfs-site.xml,mapred-site.xml,slaves,yarn-env.sh,yarn-site.xml在同一目录下:
1
2
3
chmod +x ./hadoop.sh
./hadoop.sh
source /root/.bash_profile

3.4 部署所有节点

使用sftp将core-site.xml,hadoop-2.7.3.tar.gz,hadoop-env.sh,hadoop.sh,hdfs-site.xml,mapred-site.xml,slaves,yarn-env.sh,yarn-site.xml传到其他所有节点上并按照以上步骤进行部署。


4. Hadoop启动

注意首次初始化启动命令和之后启动的命令是不同的,首次启动比较复杂,步骤不对的话就会报错,不过之后就好了。

4.1 首次启动命令

4.1.1 如果未启动Zookeeper,首先启动各个节点的Zookeeper,在各个节点上执行以下命令:

1
zkServer.sh start

4.1.2 在某一个namenode节点执行如下命令,创建命名空间:

1
hdfs zkfc -formatZK

4.1.3 在每个journalnode节点用如下命令启动journalnode:

1
hadoop-daemon.sh start journalnode

4.1.4 在主namenode节点用格式化namenode和journalnode目录:

1
hdfs namenode -format ctns

4.1.5 在主namenode节点启动namenode进程:

1
hadoop-daemon.sh start namenode

4.1.6 在备namenode节点执行第一行命令,这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来,并且这个命令不会把journalnode目录再格式化了,然后用第二个命令启动备namenode进程:

1
2
hdfs namenode -bootstrapStandby
hadoop-daemon.sh start namenode

4.1.7 在两个namenode节点都执行以下命令:

1
hadoop-daemon.sh start zkfc

4.1.8 在所有datanode节点都执行以下命令启动datanode:

1
hadoop-daemon.sh start datanode

4.1.9 启动resourcemanager和nodemanager:

在node01上执行:

1
2
yarn-daemon.sh start resourcemanager
yarn-daemons.sh start nodemanager

4.2 日常启停命令

1
2
./start-all.sh
./stop-all.sh

5. 测试验证

5.1 节点状态

查看namenode状态http://192.168.205.50:50070/:

http://192.168.205.62:50070/:

查看resourcemanager状态http://192.168.205.62:8088/:

5.2 mapreduce

创建input目录:

1
hadoop fs -mkdir -p /hadoop/input

使用hadoop的根目录下自带的LICENSE.txt文件测试:
1
hadoop fs -put /usr/hadoop/LICENSE.txt /hadoop/input

使用wordcount测试类进行处理测试:
1
2
3
cd /usr/hadoop/share/hadoop/mapreduce/
ls --查看hadoop-mapreduce-examples-2.7.3.jar
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /hadoop/input /hadoop/output

稍后会在/hadoop/output路径下看到结果:
1
hadoop fs -ls /hadoop/output


参照资料:
hadoop、zookeeper、hbase、spark集群环境搭建
Hadoop双namenode配置搭建(HA)
Hadoop的namenode 从单点向双namenode的HA的升级过程,含wordcount验证
搭建5个节点的hadoop集群环境(CDH5)