如何最快搭建LINUX服务器集群

1.2.并行技术

这是一个非常简单的建造四节点的小集群系统的例子，它是构建在Linux操作系统上，通过MPICH软件包实现的，希望这个小例子能让大家对集群系统的构建有一个最基本的了解。

2.使用MPICH构建一个四节点的集群系统

这是一个非常简单的建造四节点的小集群系统的例子，它是构建在Linux操作系统上，通过MPICH软件包实现的，希望这个小例子能让大家对集群系统的构建有一个最基本的了解。

2.1 所需设备

1).4台采用Pentium II处理器的PC机，每台配

置64M内存，2GB以上的硬盘，和EIDE接口的光盘驱动器。

2).5块100M快速以太网卡，如SMC 9332 EtherPower 10/100(其中四块卡用于连接集群中的结点，另外一块用于将集群中的其中的一个节点与其它网络连接。)

3).5根足够连接集群系统中每个节点的，使用5类非屏蔽双绞线制作的RJ45缆线

4).1个快速以太网(100BASE-Tx)的集线器或交换机

5).1张Linux安装盘

2.2 构建说明

对计算机硬件不熟的人，实施以下这些构建步骤会感到吃力。如果是这样，请找一些有经验的专业人士寻求帮助。

1. 准备好要使用的采用Pentium II处理器的PC机。确信所有的PC机都还没有接上电源，打开PC机的机箱，在准备与网络上的其它设备连接的PC机上安装上两块快速以太网卡，在其它的 PC机上安装上一块快速以太网卡。当然别忘了要加上附加的内存。确定完成后盖上机箱，接上电源。

2. 使用4根RJ45线缆将四台PC机连到快速以太网的集线器或交换机上。使用剩下的1根RJ45线将额外的以太网卡(用于与其它网络相连的那块，这样机构就可以用上集群)连接到机构的局域网上(假定你的机构局域网也是快速以太网)，然后打开电源。

3. 使用LINUX安装盘在每一台PC机上安装。请确信在LINUX系统中安装了C编译器和C的LIB库。当你配置TCP/IP时，建议你为四台PC分别指定为192.168.1.1、192.168.1.2、192.168.1.3、192.168.1.4。第一台PC为你的服务器节点(拥有两块网卡的那台)。在这个服务器节点上的那块与机构局域网相连的网卡，你应该为其指定一个与机构局域网吻合的IP地址。

4.当所有PC都装好Linux系统后，编辑每台机器的/etc/hosts文件，让其包含以下几行：

192.168.1.1 node1 server

192.168.1.2 node2

192.168.1.3 node3

192.168.1.4 node4

编辑每台机器的/etc/hosts.equiv文件，使其包含以下几行：

node1

node2

node3

node4

$p#

以下的这些配置是为了让其能使用MPICH’s p4策略去执行分布式的并行处理应用。

1. 在服务器节点

，建一个/mirror目录，并将其配置成为NFS服务器，并在/etc/exports文件中增加一行：

/mirror node1(rw) node2(rw) node3(rw) node4(rw)

2. 在其他节点上，也建一个/mirror目录，关在/etc/fstab文件中增加一行：

server:/mirror /mirror nfs rw,bg,soft 0 0

3. /mirror这个目录从服务器上输出，装载在各个客户端，以便在各个节点间进行软件任务的分发。

4. 在服务器节点上，安装MPICH。MPICH的文档可在

5.任何一个集群用户(你必须在每一个节点新建一个相同的用户)，必须在/mirror目录下建一个属于它的子目录，如 /mirror/username，用来存放MPI程序和共享数据文件。这种情况，用户仅仅需要在服务器节点上编译MPI程序，然后将编译后的程序拷贝到在/mirror目录下属于它的的子目录中，然后从他在/mirror目录下属于它的的子目录下使用p4 MPI策略运行MPI程序。

2.3 MPICH安装指南

1.如果你有gunzip，就d下载mpich.tar.gz，要不然就下载mpich.tar.Z。你可以到http://www.mcs.anl.gov/mpi/mpich/downloa下载，也可以使用匿名FTP到ftp.mcs.anl.gov的pub/mpi目录拿。(如果你觉得这个东西太大，你可以到pub/mpi/mpisplit中取分隔成块的几个小包，然后用cat命令将它们合并)

2.解压：gunzip c mpich.tar.gz 　tar xovf-(或zcat mpich.tar.Z　tar xovf-)

3.进入mpich目录

4.执行：./configure为MPICH选择一套适合你的实际软硬件环境的参数组，如果你对这些默认选择的参数不满意，可以自己进行配置(具体参见MPICH的配置文档)。最好选择一个指定的目录来安装和配置MPICH，例如：

./configure -prefix=/usr/local/mpich-1.2.0

5.执行：make >&make.log 这会花一段较长的时间，不同的硬件环境花的时间也就不同，可能从10分钟到1个小时，甚至更多。

6.(可选)在工作站网络，或是一台单独的工作站，编辑mpich/util/machines/machines.xxx(xxx是MPICH对你机器体系结构取的名称，你能很容易的认出来)以反映你工作站的当地主机名。你完全可以跳过这一步。在集群中，这一步不需要。

7.(可选)编译、运行一个简单的测试程序：

cd examples/basic

make cpi

ln s ../../bin/mpirun mpirun

./mpirun np 4 cpi

此时，你就在你的系统上运行了一个MPI程序。

8.(可选)构建MPICH其余的环境，为ch_p4策略使

用安全的服务会使得任何启动速度加快，你可以执行以下命令构建：

make serv_p4

(serv_p4是一个较新的P4安全服务的版本，它包含在MPICH 1.2.0版中)，nupshot程序是upshot程序的一个更快版本，但他需要tk 3.6版的源代码。如果你有这个包，你就用以下命令可以构建它：

make nupshot

9.(可选)如果你想将MPICH安装到一个公用的地方让其它人使用它，你可以执行：

make install 或 bin/mpiinstall

你可以使用-prefix选项指定MPICH安装目录。安装后将生成include、lib、bin、sbin、www和man目录以及一个小小的示例目录，

到此你可以通告所有的用户如何编译、执行一个MPI程序。

以下内容转自互联网集群系统主要分为两种：高可用性集群和高性能集群。高可用性集群的主要功能就是提供不间断的服务。有许多应用程序都必须一天二十四小时地不停运转，如所有的web服务器、工业控制器、ATM、远程通讯转接器、医学与军事监测仪以及股票处理机等。对这些应用程序而言，暂时的停机都会导致数据的丢失和灾难性的后果。高性能集群通过将多台机器连接起来同时处理复杂的计算问题。模拟星球附近的磁场、预测龙卷风的出现、定位石油资源的储藏地等情况都需要对大量的数据进行处理。传统的处理方法是使用超级计算机来完成计算工作，但是超级计算机的价格比较昂贵，而且可用性和可扩展性不够强，因此集群成为了高性能计算领域瞩目的焦点。集群系统采用的操作系统主要有VMS、UNIX、WindowsNT和Linux。美国DEC公司（Digital Equipment Corporation）开发的VMScluster系统开发最早，技术也很成熟，应用也很广泛，但由于VMS操作系统只能在DEC公司的VAX系列和Alpha系列服务器上运行，VMScluster的应用受到很大限制。UNIX是服务器或工作站上普遍使用的操作系统，它运行稳定、安全性也比较好，因此许多大的公司都采用了基于UNIX的集群系统解决方案，如DEC、 HP、SUN、IBM、NCR和DG等公司，其中在国内影响比较大的主要是DEC、HP、SUN和IBM。其中DEC公司的Trucluster系统提供了由4台Digital Alpha Server组成的集群系统，它集高可靠性、高可用性和易管理性于一身，是关键业务计算机系统的理想解决方案。基于WindowsNT的集群系统解决方案厂商主要有Mircrosoft和DEC。Microsoft于1995年就开始了集群系统的开发工作。 Windows 2000中已经增加了集群功能，该高可用性集群叫做WolfPack，也叫做Microsoft Cluster Server (MCS)。它主要是在企业级对基于Windows NT服务器的应用程序提供可用性和可升级性。WolfPack现在支持两个服务器，一个用来对用户提供服务，另一个作为备份服务器使用。 Microsoft下一步的目标是将WolfPack支持的节点数扩展到16个。Wolfpack的缺陷在于：它只提供了两个节点的失败恢复功能，而没有采用复杂的应用程序资源管理功能，因此在一定程度上影响了系统的高可用性、高可靠性和可升级性。Wolfpack不能支持多种操作系统，而只能运行于 Windows NT操作系统上。由于WindowsNT操作系统本身在稳定性、大型并行计算上与UNIX系统存在较大差距，目前主要在中小型系统上应用。但是随着 WindowsNT系统走向成熟，基于WindowsNT的计算机集群系统将获得更广泛的应用。九十年代末期，Linux操作系统不断走向成熟，它的健壮性不断增强，并且提供了GNU软件和标准化的PVM、MPI消息传递机制，最重要的是Linux在普通PC机上提供了对高性能网络的支持，这样就大大推动了基于Linux的集群系统的发展。Turbolinux公司推出了能够显著地提高基于TCP/IP协议的多种网络服务的服务质量的高可用性集群系统Turbocluster。Red Hat也提供了基于Linux Virtual Server思想构建的高可用性集群系统Piranha。由Ericsson软件工程研究中心开发的高可用性集群系统Eddie的主要目的是提供一个商业级的，能提供较好的服务质量的web服务器的解决方案。Platform公司开发的高可用性集群系统Lsf提供了分布式集群系统的解决方案，通过将物理上分离的多个集群连接在一起使使多个同构或异构的计算机能够通过局域网或广域网共享计算资源，并能够为用户提供对资源的透明访问。高性能集群系统MOSIX为Linux核心增添了集群计算的功能。在MOSIX集群环境中，用户无需对应用程序进行修改，或将应用程序与库连接起来，或将应用程序分配到不同的节点上运行。MOSIX会自动将这些工作透明地交给别的节点来执行。日本的F5公司开发出了高可用性集群BIG-IP，它是使用于本地网络站点或数据中心的高可用的、智能化的负载平衡产品，它提供了对网络流量的自动和智能的管理。与前几种集群系统不同的是，BIG-IP向用户提供的是一个即插即用设备，而其它的提供的都是软件方法。IBM、Microsoft和Intel于2000年7月联合发布了一种高可用性服务器集群软件及硬件包，这种服务器集群的配置包括32台IBM Netfinity 8500R及Intel Pentium Ⅲ Xeon处理器，运行IBM的DB2 Universal Database和Microsoft Windows 2000 Advanced Server操作系统，每分钟可以执行440879次交易。这套系统面向数据密集的应用，特别是B2B、电子商务和企业资源规划领域。在科学计算领域中，人们开始把注意力投向通过普通PC机或工作站的集群来代替昂贵的超级计算机。比较成功的例子是高性能集群系统Beowulf，它最初是由NASA的Goddard Flight Center进行开发的，主要目的是支持大规模的科学计算问题，如地球和太空科学面临的一些计算问题。国内也有不少公司进行了集群系统的研究和开发工作。联想公司在1999年9月推出了用于分布式高性能计算的NS10000高性能集群服务器，该系统是一个四节点的系统，主要基于联想万全4500R服务器，以总体成本相对较低的设备组合，足以替代传统RISC小型机和中型机的工作，而价格仅为市场上同等性能小型机的1/2--1/4。朗新公司也推出了类似于Turbocluster的高可用性集群系统LongShine Cluster Server。1999年9月20日，中国第一家专业面向Linux高端应用市场的集群网络有限公司推出了国内首例Linux安全集群系统。它是国内第一个通过公安部认证的安全Linux系统，而其集群技术也已应用于诸多国际著名网站，如Linux的门户www.linux.com、英国国家JANET Cache网、奥地利的入口站点和瑞士电信等。其核心代码也已被纳入美国Red Hat Linux发布版的核心。中国自主开发研制的集群式高性能计算机集群系统"自强2000-SUHPCS"于2000年9月在上海大学问世。这一系统的峰值速度达到每秒3000亿次浮点操作。是当前中国国内集群式高性能计算机系统中速度最快的。

linux服务器集群平台的搭建比较简单，有专门的均衡软件，比如lvs，lvs是一个集群系统，由很多服务器组成，可以根据需要，把它门分为三层，一层是前端机，用于均衡，相当于公平为系统分配工作，二层是服务器群，比如web服务器群，DNS，mail群等，这些就是接待员，把均衡器分配的工作进行处理，第三层是存储设备，用于存储数据，相当于档案库。

知道这些后，要搭建就非常容易，有现成的软件，比如我有四台web服务器，2台数据库，1台前置机 ，安装linux系统，安装lvs软件，比如

heartbeat-2.1.4-9.el5.i386.rpm

heartbeat-ldirectord-2.1.4-9.el5.i386.rpm

libnet-1.1.4-3.el5.i386.rpm

heartbeat-devel-2.1.4-9.el5.i386.rpm

heartbeat-pils-2.1.4-10.el5.i386.rpm

perl-MailTools-1.77-1.el5.noarch.rpm

heartbeat-gui-2.1.4-9.el5.i386.rpm

heartbeat-stonith-2.1.4-10.el5.i386.rpm

当然还需要配置，你可以自己百度有关lvs集群的详细安装说明。希望能帮助你。

---