彩票走势图

logo 慧都大数据（二）
文档彩票走势图>>慧都大数据（二）>>快速搭建Streams集群环境

快速搭建Streams集群环境

搭建集群环境的关键步骤包含以下6大步骤，后面对每个步骤再展开描述。

1. 环境规划

2. 环境准备

3. 安装Streams

4. 创建并配置Domain

5. 创建Instance并验证安装

6. 安装开发工具Streams Studio

1.环境规划

集群环境由Domain和外部ZooKeeper组成，如下图所示，其中Domain将多台主机组织在一起，形成一个大资源池。一个Domain共享相同的用户鉴权（LDAP、PAM）和外部的Zookeeper，Domain包含多台主机，这些主机则可以分给不同Instance。

streams

此次安装采用三台主机为例，三台主机同时运行ZooKeeper服务器、管理节点和Streams应用节点。出于性能考虑，在生产环境中建议将ZooKeeper运行到专门的服务器上。未来新增加的节点可用于运行Application。

streams

主机信息

主机

IP

用途

运行组件

说明

streams001.test.com

192.168.6.133

运行ZooKeeper，Streams管理和应用

ZooKeeper Server

Application、audit、authentication、jmx、management、sws、view

作为Main  Management进行安装

streams002.test.com

192.168.6.134

运行ZooKeeper，Streams管理和应用

ZooKeeper Server

Application、audit、authentication、jmx、management、sws、view

  

streams003.test.com

192.168.6.135

运行ZooKeeper，和应用

ZooKeeper Server

Application

  

如果新增

  

运行Streams应用

    

Streams管理员用户信息

用户

说明

streamsadmin

属于OS用户，创建Domain时选用PAM鉴权的方式
大数据分析

2.环境准备

  2.1.主机环境准备

   2.1.1. 设置主机名和域名解析

分别在各主机上修改/etc/sysconfig/network，设置主机名并重启。主机名分别如下：

streams001.test.com

streams002.test.com

streams003.test.com

vi  /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=streams001.test.com

reboot

reboot完成后，修改所有主机的/etc/hosts实现域名解析

vi /etc/hosts

127.0.0.1                 localhost.localdomain           localhost

192.168.6.133       streams001.test.com            streams001

192.168.6.134       streams002.test.com            streams002

192.168.6.135       streams003.test.com            streams003

    2.1.2.  关闭防火墙

为了方便管理，在运行Streams的主机需要关闭整个防火墙。如果有其他需要，请参考Linux指导进行防火墙设置。

在各主机以root用户运行以下命令：

service iptables save

service iptables stop

service iptables status

chkconfig iptables off

sed -i "/service  iptables stop/d" /etc/rc.local

echo "service  iptables stop" >> /etc/rc.local

    2.1.3. 设置时钟同步

时钟同步是集群环境的一个基本要求。由于时钟同步需要NTP服务器，本文在这里不详细描述，如果服务器的时间是不同步的，请参考操作系统管理手册进行时钟同步设置。

    2.1.4. 安装JDK

ZooKeeper和Streams GUI的安装方式需要JDK，如果系统里没有Java环境或Java版本低于v1.7，请执行以下安装。

以root用户在各主机安装JDK并设置环境变量：

yum install -y  java-1.7.0-openjdk

echo "export  JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk.x86_64/" >>  ~/.bash_profile

. ~/.bash_profile

echo $JAVA_HOME

  2.1.5.  创建并设置Streams管理员用户

本次采用root用户安装Streams，在安装过程中再指定Streams管理员的用户和组，因此需要预先创建用户。注意保持每台服务器上的streams相关用户和组的ID是一致的。

以root用户在各主机执行以下命令：

groupadd -g 1001  streamsadmin

useradd -u 1001 -g  streamsadmin -m -d /home/streamsadmin streamsadmin

passwd streamsadmin

在后续的配置中，需要Streams管理员用于具有root用户权限执行命令，创建用户后还需配置sudo。

visudo

在打开的配置文件中，找到root ALL=(ALL) ALL，在下面添加一行

streamsadmin        ALL=(ALL)                 NOPASSWD: ALL

修改streamsadmin的ulimit参数，在/etc/security/limits.conf最后增加下面内容。

注意：文件保存之后，需要重新登录一次才能生效，如果重新登录不行就需要重启主机。

vi /etc/security/limits.conf

streamsadmin        hard         nofile       65536

streamsadmin        soft           nofile       65536

streamsadmin        hard         nproc       65536

streamsadmin        soft           nproc       65536

streamsadmin       ; hard         stack        unlimited

streamsadmin        soft           stack        20480

  2.2. ZooKeeper环境准备

Streams 需要 ZooKeeper V3.4.6 或更高版本，请访问//zookeeper.apache.org/下载。

生产环境建议将ZooKeeper安装在Streams集群外的机器，如果仅为了测试，则采用下面的办法进行安装。

    2.2.1. 安装配置ZooKeeper

使用root用户在各主机安装和配置ZooKeeper：

mkdir /zookeeper

cd /zookeeper

tar xf /…/zookeeper-3.4.6.tar.gz

mkdir  /zookeeper/{data,log}

cat  >/zookeeper/zookeeper-3.4.6/conf/zoo.cfg<< EOF

tickTime=2000

dataDir=/zookeeper/data

dataLogDir=/zookeeper/log

clientPort=2181

initLimit=5

syncLimit=2

server.1=streams001:2888:3888

server.2=streams002:2888:3888

server.3=streams003:2888:3888

EOF

echo "export  ZOOKEEPER=/zookeeper/zookeeper-3.4.6" >> ~/.bash_profile

echo  'PATH=$PATH:$ZOOKEEPER/bin' >> ~/.bash_profile

sed -i "/export  PATH/d&quot; ~/.bash_profile

echo 'export PATH'  >> ~/.bash_profile

source ~/.bash_profile

在/zookeeper/data目录下创建一个文件：myid

分别在myid上按照配置文件的server.中id的数值，在不同主机上的该文件中填写相应过的值，如果

streams001、streams002、streams003的myid内容分别为1、2、3

如在streams001上执行：

echo 1 > /zookeeper/data/myid

在各主机上分别执行启动和检查状态脚本，由于已经把可执行路径添加到环境变量中了，所以可以直接执行：

zkServer.sh start

zkServer.sh status

正确的状态是两个Zookeeper状态为Follower，一个为Leader。

    2.2.2. 设置ZooKeeper环境变量【可选】

在运行一些命令（如streamtool）时会提示输入Zookeeper URL，如下图。我们可以通过设置环境变量STREAMS_ZKCONNECT来避免每次的手工输入。

注意：在单机Streams环境中，确保 STREAMS_ZKCONNECT 环境变量的值为 unset。此环境变量用于设置外部ZooKeeper 服务器的连接字符串。如果此环境变量的值不是unset，那么InfoSphere Streams streamtool 命令可能不会使用嵌入式 ZooKeeper（它会导致不正确的结果）。

请在需要执行streamtool的主机，分别用root和streamsadmin用户执行以下命令以添加环境变量：

echo "export STREAMS_ZKCONNECT=streams001:2181,streams002:2181,streams003:2181"  >> ~/.bash_profile

source ~/.bash_profile

3.在第一台主机安装Streams

在集群环境里，我们先在一台主机上安装Streams并创建Domain，然后再利用已安装的内容和Domain信息生成新的安装包并在其他主机上运作，这样就能快速地把其他主机加入到Domain里。

解压Streams安装包，并执行安装前的环境检查：

mkdir /install_pkg

cd /install_pkg

tar zxvf /<your_path>/Streams-4.0.1.0-x86_64-el6.tar.gz

./dependency_checker.sh

根据dependency_checker.sh的运行结果安装必要的依赖包，以下命令是安装在RHEL 6.5所需的依赖包。安装完成后再次运行dependency_checker.sh，直到不再提示错误。

yum install -y gcc-c++

yum install -y perl-Time-HiRes

cd /install_pkg/StreamsInstallFiles/rpm

yum install -y perl-XML-Simple-2.18-6.el6.noarch.rpm

./dependency_checker.sh

用root执行安装命令，如果配置X Window则启用GUI安装方式，否则启动命令行方式。按提示即可，注意选择前面创建的streamsadmin用户和组。提示：root和non-root的安装区别仅在于默认安装路径不同。执行InfoSphereStreamsSetup.bin后按提示进行即可。

cd /install_pkg/StreamsInstallFiles/

./InfoSphereStreamsSetup.bin

安装完成后，分别用root和streamsadmin用户设置Streams的环境变量

echo 'PATH=$PATH:/opt/ibm/InfoSphere_Streams/4.0.1.0/bin'  >> ~/.bash_profile

sed -i "/export PATH/d" ~/.bash_profile

echo 'export PATH' >> ~/.bash_profile

echo "source  /opt/ibm/InfoSphere_Streams/4.0.1.0/bin/streamsprofile.sh" >> ~/.bash_profile

source ~/.bash_profile

4.创建并配置Domain

  4.1.创建Domain

1.  用streamsadmin用户启动Domain管理界面进行创建：

su - streamsadmin

/opt/ibm/InfoSphere_Streams/4.0.1.0/DomainManager.sh
streams

2.  创建基于PAM鉴权的Domain

streams
streams


在ZooKeeper connection string里填:

streams001:2181,streams002:2181,streams003:2181

3.  为InfoSphere Streams 生成认证密钥

生成公用密钥和专用密钥使 InfoSphere Streams 用户不必在运行 streamtool 命令时输入密码。该操作或streamtool genkey 命令会生成下列文件：

专用密钥：user-id_priv.pem

公用密钥：user-id.pem

Streams 将专用密钥存储在user-home-directory/.streams/key/domain-id 目录中。公用密钥存储在 ZooKeeper 中。

4. 设置domain开机自动启动/恢复（可选）

用streamtool registerdomainhost -d domain-id --zkconnecthost:port命令设置domain为Linux的自动启动服务，以保证服务器因故障重启时，domain服务能自动恢复。如果前面设置了STREAMS_ZKCONNECT变量，--zkconnnect可以省略，下同。

streamtool registerdomainhost -d myDomain

  4.2. 添加其他主机到Domain

1.  产生域主机安装包

streams
streams
streams
streams

2.  将域主机安装包拷贝到其他机器

su - streamsadmin

cd ~/Download

scp StreamsDomainHost-4.0.1.0-x86_64-el6.tar streams002:

scp StreamsDomainHost-4.0.1.0-x86_64-el6.tar streams003:

3. 用root用户在streams002，streams003上进行安装

tar xf StreamsDomainHost-4.0.1.0-x86_64-el6.tar

cd StreamsDomainHost

./dependency_checker.sh

yum install -y gcc-c++

yum install -y perl-Time-HiRes

yum install -y perl-XML-Simple-2.18-6.el6.noarch.rpm

./dependency_checker.sh

sudo -E ./streamsdomainhostsetup.sh

添加资源后在Streams Console马上能查看到：

streams

执行以下命令也可以看到Domain的状态和资源：

streamtool lsdomain

streamtool getdomainstate -l -d myDomain

streamtool checkdomainhosts -d myDomain

4.3.为Domain中的主机添加Tag（可选）

为主机指定Tag，是为了将不同的服务在主机上区分开来，如主机指定Application表示该主机只运行应用程序而不运行管理服务。

选中某台主机，勾选/去勾选右边的服务名字并保存。

streams

修改后执行streamtool getdomainstate -l -d myDomain查看状态

streams

4.4. 修改Domain属性

通过修改Domain的属性，以启用Domain的高可用性。

streams
streams

4.5. 同步环境变量

将第一台主机root和streamsadmin用户的.bash_profile同步到其他主机。

scp ~/.bash_profile streams002:~/

scp ~/.bash_profile streams003:~/

5.创建Instance并验证安装

  5.1. 创建Instance

streams
streams

  5.2. 运行Sample

su - streamsadmin

cp -R $STREAMS_INSTALL/samples .

cd samples/spl/application/WordCount/

make distributed

streamtool submitjob -P file='/var/log/boot.log' -d myDomain  -i testins output/sample.WordCount.sab

检查结果

cd /tmp/Streams-StreamsDomain/logs/<hostname>/instances/StreamsInstance/jobs/<0>

cat xxx

6.安装开发工具StreamsStudio

在本地安装Streams Studio有三种方法，具体请参考：

//www-01.ibm.com/support/knowledgecenter/SSCRJU_4.0.0/com.ibm.streams.install.doc/doc/tinstall-studio-linux.html?lang=zh

从本地或远程访问Streams Console并下载 Streams Studio forLinux/Windows安装。

streams

tar xf ~/Downloads/StreamsStudio.tar.gz

cd StreamsStudio

./streamsStudio -clean &

小结

Streams集群安装并不复杂，用户可以通过参考官网的安装过程进行安装配置。然而，本文将关键步骤总结下来方便用户参考，减少走弯路的可能性，用户只需参考该文档即能快速搭建Streams集群环境。

慧都控件网年终促销第一波已开启，全场6折起，豪礼抢不停>>>

截止时间：2016年10月30日

详情请咨询！

客服热线：023-66090381

扫码咨询


添加微信 立即咨询

电话咨询

客服热线
023-68661681

TOP