在上篇我们了解了Storm的基本概念和架构，如下：

Storm 概念 与 架构
https://www.cndba.cn/dave/article/3344

本篇我们了解一下Storm集群的安装。http://www.cndba.cn/dave/article/3345

1 搭建Hadoop 集群环境

Storm的运行依赖与HDFS和Zookeeper，关于这2个组件的安装和配置参考如下博客：http://www.cndba.cn/dave/article/3345

Linux 7.6 平台 Hadoop 3.1.1 集群搭建手册
https://www.cndba.cn/download/dave/6
Zookeeper 集群安装配置
https://www.cndba.cn/dave/article/3295http://www.cndba.cn/dave/article/3345

2 安装Storm集群

2.1 下载Storm

直接从官方下载：

http://storm.apache.org
http://mirrors.shu.edu.cn/apache/storm/apache-storm-1.2.2/apache-storm-1.2.2.tar.gz

http://www.cndba.cn/dave/article/3345

http://www.cndba.cn/dave/article/3345

2.2 解压缩文件

[dave@www.cndba.cn ~]$ tar xzvf apache-storm-1.2.2.tar.gz
[dave@www.cndba.cn ~]$ mv apache-storm-1.2.2 storm

2.3 修改环境变量

在/etc/profile文件中添加如下内容：http://www.cndba.cn/dave/article/3345

#Storm
export STORM_HOME=/home/hadoop/storm
export PATH=$PATH:$STORM_HOME/bin

2.4 修改Storm配置文件

修改storm.yaml文件：

[dave@www.cndba.cn storm]$ pwd
/home/hadoop/storm
[dave@www.cndba.cn storm]$ mkdir data
[dave@www.cndba.cn storm]$
[dave@www.cndba.cn conf]$ pwd
/home/hadoop/storm/conf
[dave@www.cndba.cn conf]$ ls
storm_env.ini  storm-env.ps1  storm-env.sh  storm.yaml
[dave@www.cndba.cn conf]$ vim storm.yaml

添加如下内容：

storm.zookeeper.servers:
- "192.168.56.100"
- "192.168.56.101"
- "192.168.56.102"
#nimbus
nimbus.host: "192.168.56.100"
ui.port: 8888
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
storm.local.dir: "/home/hadoop/storm/data"

2.5 分发到其他节点

[dave@www.cndba.cn ~]$ scp -r storm Slave1:`pwd`
[dave@www.cndba.cn ~]$ scp -r storm Slave2:`pwd`

2.6 在主节点启动Spark

在Master开启nimbus进程:http://www.cndba.cn/dave/article/3345

[dave@www.cndba.cn conf]$ storm nimbus &
[1] 12074
[dave@www.cndba.cn conf]$

在两台Slave上开启supervisor 进程:http://www.cndba.cn/dave/article/3345http://www.cndba.cn/dave/article/3345

[hadoop@Slave1 ~]$ storm supervisor &
[1] 3976
[hadoop@Slave1 ~]$

[root@Slave2 ~]# storm supervisor &
[1] 2960
[root@Slave2 ~]#

在Master主机上开启web:http://www.cndba.cn/dave/article/3345

[dave@www.cndba.cn conf]$ storm ui &
[2] 12280
[dave@www.cndba.cn conf]$ storm logviewer &
[3] 12384
[dave@www.cndba.cn conf]$
storm ui &

2.7 验证

[dave@www.cndba.cn conf]$ jps
12384 logviewer
12497 Jps
13970 QuorumPeerMain
23522 NameNode
23988 ResourceManager
30709 Worker
12280 core
12074 nimbus
23757 SecondaryNameNode
30622 Master
[dave@www.cndba.cn conf]$

[hadoop@Slave1 ~]$ jps
13800 QuorumPeerMain
18232 DataNode
3976 Supervisor
25369 Worker
19133 NodeManager
4109 Jps
[hadoop@Slave1 ~]$

版权声明：本文为博主原创文章，未经博主允许不得转载。