怎么将一堆高性能电脑硬件组成超级计算机？_服务器知识

今天咱们来看看天河2号超级计算机怎么搭出来的。

天河二号由国防科技大学和浪潮合作研制，2013年至2014年蝉联全球超级计算机第一名。不过性能是拿钱堆出来的，造价25亿人民币，一天满负荷运转要耗电费40万元。看看下面的配置就知道为什么花这么多钱了。从这么多CPU看得出来，CPU厂商是多么喜欢超级计算机。不过美国政府对中国禁运高端CPU之后，Intel的销售估计都要哭死了。

怎么从一个个芯片组装成一台超级计算机？看下图。16000个计算节点，其实就是主板，汇集成32个Frame，再组成4个Rack，最后组成了超算系统。

超级计算机的基础节点包括三种：16000个计算节点，4096个管理节点，256个IO节点和64个存储服务器。

先看看最小的组件：计算节点。2 个Intel Ivy Bridge CPU + 3个 Intel Xeon Phi 。CPU之间用QPI总线互联，一般NUMA架构是这么做的。每个CPU有自己的DIMM内存，一共64GB。还通过PCIex16连到内部高速互联网络，GDDR5内存。GDDR5内存有一个专门的CPU管理。两个万兆网卡估计是管理用的。这样一个节点计算性能最高可以到3.432Tflops，

计算节点物理上坐落于计算刀片服务器。如下图，蓝色的是Xeon Phi处理器，黑色的估计就是Ivy Bridge CPU，所以一个刀片服务器包含了两个节点。

再来看看用国产飞腾CPU搭建的管理节点，性能是144GFlops。飞腾CPU是国防科大研制的，目前有几种型号，天河2号采用的FT-1500基于 Sparc V9架构。为了便于商业化推广，飞腾还推出了兼容ARM64位指令集的FT-1500A系列。FT-1500A目前包括4核和16核两款产品。其中4核处理器芯片主要面向桌面终端和轻量级服务器应用领域，面向服务器应用领域的是16核处理器芯片。据称，FT-1500A系列处理器与Intel 2010年的处理器性能相当。

来看看这颗基于Sparc架构的FT-1500架构。采用40nm工艺，1.8GHz，16核，功耗约65瓦。计算架构采用了SIMD（Single Instruction Multiple Data），一条指令可以同步让多组数据执行。如下图，一个CPU有四个DDR3接口，IO带宽很高。

天河2号有256个IO节点和64个存储服务器，总共存储容量12.4PB。既然是超级计算机，自然要使用高性能的固态硬盘SSD，每个IO节点有2TB的SSD，IO带宽达到5GB/s，从下图可以看出1个2TB SSD由5个400GB 小SSD组成，那估计每个的带宽是1GB/s。IO节点对外有两种接口：高速互联接口和Infiniband QDR存储网络接口。阿呆猜想高速互联网络是用来输出数据给计算节点，IB接口是IO节点之间数据共享用的。采用了Hybrid hierarchy file system，H2FS，数据保存在每个节点本地，但是相互之间也能共享。

这么多节点怎么组成超级计算机呢？下面就是组网图。关键的设备是中间的13个交换机，每个交换机有576个端口！

更加难能可贵的是，高速互联芯片都是纯国产。包括网络路由芯片NRC和网络接口芯片NIC。

NRC采用90nm工艺，大小为17.16mm*17.16mm，2577个管脚，带宽为2.56 Tbps。这么多管脚估计也是为了增加端口数。

NIC也是90nm工艺，大小10.75mm*10.76mm，675个管脚。

说到超算，就不得不提制冷系统，这么一台庞大的机器，没有有效的制冷，估计就着火了。天河2号采用了紧耦合水冷系统，整台机器功耗17.6MW，加上制冷系统就是24MW。制冷用了27%的电。

天河有自己的软件架构，如下图。对用户来说，最重要的是用户的编程接口，有些用户为了搞个研究，写这个程序就得花上几年。很多时候政府推动的项目硬件给很多经费，设备都很不错，但是领导舍不得给软件投钱，毕竟展示效果没那么壮观，所以软件往往是短板，用户使用不便，先进设备的利用率就不高。

天河支持下列编程语言。值得一提的是OpenMC语言，比CUDA和OpenCL的抽象级别更高，在CPU等各种资源之上有一个统一的逻辑层。各种计算任务异步执行，同时分配到不同的设备上。

对管理者来说，这么多节点的资源调度和监控也是很重要的。如下图，每台机器安装了国产麒麟Linux操作系统，其实也是国防科大主导的。

我们搞存储的最关心的就是存储软件架构了。数据分为本地存储和共享存储，共享存储使用了超算流行的Lustre分布式文件系统，这种文件系统对于大文件访问性能不错。用户使用POSIX接口读写文件。不过数据密集型应用用Layout接口和Policy接口访问数据。

总结一下，一台超级计算机其实就是很多小计算机的集合，当然难点在大家的高速互联和同步。

建议：

1. 根据你的描述，你的企业安装的应该是Redhat Enterprise Linux 6 （RHEL 6）系统；

2. 检查一下对应的刀片服务器的系统版本是32bit版本还是64bit版本，可以使用命令“arch”可以轻易地查询版本号：

2.1 如果显示结果为：

[root@ha1_1 ~]# arch

x86_64

说明是64位的系统；

2.2 如果显示结果为：

[root@localhost ~]# arch

i686

说明是32位系统；

3. 你下载的驱动程序需要和系统版本相一致；

4. 安装方法非常简单：

4.1 方法一：在图形界面，双击安装即可；

4.2. 方法二：在命令行界面，使用命令“rpm -ivh 对应的文件全名.rpm"安装即可；

5. 如果安装不成功，可以查看报错信息，通常是因为缺少安装一些必备的软件导致的，根据提示信息安装即可；

6. 这些需要的安装程序，通常在光盘“Server”文件夹下都有，安装方式如4；

7. 自己动手操作一下即可；

8. 有问题再留言。

推荐两本Linux相关的图书：

1. 《Linux系统与网络服务管理技术大全（第二版）》杨明华谭励等编著电子工业出版社 79元含光盘一张；

2. 《Linux系统管理与网络管理》余柏山等编著清华大学出版社 89元含光盘一张。

你可以参考这两本书，肯定可以解决问题。

自己动手，丰衣足食。

BMC是智能平台管理接口(IPMI)的组成部分。IPMI是通常在企业网络上部署的服务器和工作站上找到的标准和工具集合。IPMI允许系统管理员从较低级别并独立于操作系统的远程位置管理系统。

IPMI工具可以允许远程管理员连接或向PC /服务器发送指令并执行各种操作，例如修改操作系统设置，重新安装操作系统或更新驱动程序。

所有IPMI远程管理解决方案的核心都是基板管理控制器。BMC是嵌入主板的微控制器，它们带有自己的CPU，存储系统和LAN接口，

BMC充当服务器/工作站硬件和远程系统管理员之间的接口。它们是将所有IPMI命令转换为本地硬件指令的组件，因此可以完全控制计算机。

由于它们具有访问权限，因此对BMC接口的访问受到严格限制，并且使用密码进行保护，通常只有公

2. bmc 设置

你可以点击设置，然后清理掉数据就可以了

3. bmc默认地址

开机启动-按【F1】进入BIOS-选择【Server Management】-选择【BMC network configuration】配置好IP、网关、子网掩码后保存退出即可。配置好后默认密码为：lenovo lenovo 或者 Username=lenovo Password = len0vO

4. bmc如何使用

BMC如何操作

BMC 是独立于服务器系统之外的小型操作系统，是一个集成在主板上的芯片，也有产品是通过 PCIE 等形式插在主板上，对外表现形式只是一个标准的 RJ45 网口，拥有独立 IP 的固件系统。服务器集群一般使用 BMC 指令进行大规模无人值守操作，包括服务器的远程管理、监控、安装、重启等。

5. xbmc设置

第一步打开KODI进入插件下载标签

进行下载plex插件，然后安装

安装完成进入插件设置，进行设置源文件地址

设置完插件重启KODI 就可以了

kodi是一个免费的开放源代码媒体播放器软件，以前称之为xbmc，kodi已被广泛应用在多种操作系统和硬件产品上。特色是具有高度的可定制性，可更改器外观皮肤，也可通过在线服务访问流媒体内容。

6. 服务器bmc设置

默认ip：192.168.70.125

问题有一点小错误，对于ibm x3650一代机器，服务管理叫BMC，刀片中心上的高级管理模块，简称AMM,对于M2M3M4的机型，IMM。

相关问题可以在官网下载到详细的说明文档。

操作方法：管理机网线连接imm口，设置本地ip为192.168.70.xxx网段，ping 192.168.70.125，如果通，在浏览器地址栏输入192.168.70.125 回车，在出现的页面输入账号：USERID，口令：PASSW0RD,注意是零不是哦，确定即可。

如果地值已修改，麻烦点，可根据机型下手册按指示开盖操作。

7. bmc模式是什么

洋老板这个平台是根据当前国内电商经济的发展状况，结合B2C模式在不同业务状态下的优缺点，推陈出新，开创出一种新的跨境电商经营模式平台——BMC模式。

8. bmc命令

2. 使用Ctrl+E 进入IPMI Server Management Configuration3. 设置IPMI Server Management Configuration(1).设置 IPMI Over LAN 为 On(2).进入IPMI LAN Channel设置Ethernet Ip Address : 192.168.1.100设置 Subnet Mask : 255.255.255.0配置完成，保存设置4. 服务器设置完成。设置你的客户端, 例如笔记本电脑的IP5. 客户端通过网络连接服务器NIC1 接口，在客户机上配置网卡（确保BMC IP 地址与客户端IP 地址在同一网段。处于安全考虑BMC IP 地址被禁止Ping 测试。）设置Ethernet Ip Address : 192.168.1.2设置 Subnet Mask : 255.255.255.0下载这个软件, 到你的笔记本里面(解压密码dell)6. 进入开始菜单，点击运行(cmd),目录指向ipmish 命令所在目录1) 使用 ipmish –ip 192.168.1.100 –u root –p calvin sel get >delllog.txt 将日志保存到delllog.txt 文件中。2) 可以使用 ipmish –ip 192.168.1.100 –u root –p calvin sel clear 将BMC日志清空3) 开/关机/重启, 命令单个单个输入, 不要一起来impish -ip 192.168.0.100 -u root -p calvin power on/off/cycle4) 收集日志的图例如下

9. 设置bmc地址

安装位置10个BIC分别位于10个动力电池模组的前端,BMC位于行李箱车身右C柱内板后段。功用：BIC的主要功能是电压采样、温度采样、电池均衡、采样线异常检测等；BMC的主要功能是总电压监测、总电流监测、 SOC计算、充放电管理、接触器控制、功率控制、电池异常状态报警和保护、漏电报警、碰撞保护、自检以及通讯功能等。

10. BMC的功能

答：汽车配件upr是不饱和聚酯树脂

的意思。

不饱和聚酯树脂（UPR）：是热固型树脂的主要品种之一，由于其优良的机械性能、电性能和耐化学腐蚀性能，且加工工艺简便，因此应用广泛。目前中国可以生产400余个牌号的UPR，主要品种包括邻苯型、间苯型、对苯型、双酚A型等，按用途和功能分类包括通用树脂、耐化学品树脂、阻燃树脂、浇注树脂、柔性树脂、人造大理石、BMC与DMC树脂、装饰类树脂和特种树脂等。

上一篇：设置近义词(设置近义词是什么词)

下一篇：已经是最新一篇了

怎么将一堆高性能电脑硬件组成超级计算机？

发表评论

评论列表（0条）