如何搭建企业网络存储服务器？

1.选择机架设备

小型企业通过在桌面或架子上堆叠服务器硬件和网络设备来开始运营并不罕见。这样做的成本的确比较低廉，但会存在未来隐患，随着公司业务的发展，这些设备可能会成为一个巨大的混乱。这些设备暴露在外会增加物理篡改的风险，也会埋下一些定时炸弹，比如说不小心造成的咖啡溢出，环境灰尘以及员工不小心被暴露的电线绊倒所存在的危险等等。

但是，使用机架式设备能避免这类事故。为什么这样说呢?因为这些机架经过专业设计，可以轻松地容纳这种类型的硬件。虽然，与非机架安装等价物相比，它们似乎非常昂贵，但从长远的角度来说，性价比高，你可以使用它们轻松管理你的设备以及其它好处会远远超过其成本。

2.要了解服务器机架的基本特征

在购买或安装服务器机架之前，你需要学习并了解服务器机架的基本特征。服务器机架通常以机架单位来衡量，通常表示为“U”或“RU”。机架单元的高度相当于1.75英寸（44.5毫米），兼容设备的测量单位为“U”的倍数。通常，服务器的范围从1U到4U，网络交换机在1U到2U之间，而一些刀片服务器在5U到10U之间或甚至更多。

在确定服务器机架之前，你还需要考虑服务器机架的宽度和高度（深度）。通常可接受的宽度为19英寸，深度为600-1,000mm。然而，这些机架中的许多通常具有可调节的后支架，即使大多数机架安装服务器通常包括可调节的安装套件，一旦它们具有足够的深度来容纳服务器就可以使用。

四柱机架是当今市场上最受欢迎的商用服务器机架之一，它设计用于容纳19英寸宽的设备和服务器。

普通机架的高度约为42U，其中一半的机架高度为24U，但有几种其他类型的机架，机架高度从5U到20U不等。这些不是对这些机架外部尺寸的测量，因为该特征高度依赖于机架的设计并且它是变化的。一些机架配有脚轮，有助于缓解运动。

开放式机架和小型壁挂式机柜是在空间有限的地方安装IT服务器的绝佳选择。但是，你需要意识到，如果你决定使用开放式机架，则必须满足特殊要求才能安装服务器，包括将机架固定在地板上。壁挂式机柜不适用于由少数服务器组成或比网络交换机重的任何负载。

3.隔离服务器以降低噪音

如果你没有专门放置和存放设备的单独房间，你将不得不考虑内部服务器设备附带的噪音。你需要一个分区的房间，即使它是一个小区域，因为从长远来看，它是值得的。

建立分区以后，能够消除或者减弱那些会影响员工整体工作效率的隐患。另外还有一个好处就是能够防止任何未经授权的人员篡改你的设备，有助于保护设备免受损坏并防止被盗。

在小型企业中，除了将机架放在房间的角落或IT部门内部别无选择外，强烈建议使用具有隔音功能的机架。 由于通风口无法实现完全隔音，因此这些机架通常通过其降噪特性来衡量。它们产生的噪音和机架本身的整体降噪能力的结合通常会决定它们的工作效果。

4.想要散发热量则需一个合适的空调机组

IT设备和服务器产生的热量通常很高，可能会缩短设备的使用寿命。它们还可能导致中断和崩溃，这可能很难解释，这就是为什么在构建内部服务器机房时安装冷却装置非常关键的原因。

但是，如果你只需要几个网络交换机，五托架网络连接存储（NAS）系统或服务器，你可能不需要担心冷却系统，除非你需要更大的NAS，多个服务器和一个中型UPS，这样的话热量会迅速增加。

服务器机架的热容量也直接受外部温度的影响。这就是强烈建议你在服务器机房安装空调装置的原因。

只要打开服务器并产生热量，这些空调就必须始终打开。建议使用不同的断路器安装独立的独立装置，以便在需要维修任何一个断路器时可以定期更换它们。

不要想着打开窗户再加上两部风扇来散发热量。

5.学会正确处理电缆

只有正确的电缆管理才能确保适当的通风。这就是为什么尝试将42个1U服务器强制进入全高机架是一个非常糟糕的主意，因为它会导致严重的布线限制或限制。许多旧服务器的机箱通常需要彼此之间1U到2U的空间，以确保正确的气流。目前，大多数现代机架式服务器都不需要这些空间。

设置一个装满机架的服务器机房需要的不仅仅是使用一些螺丝来帮助将这些设备固定到位。你需要了解如何管理从这些机架中排列的所有设备及其相应的以太网电缆中出来的电缆。除了机柜内布线外，还需要妥善管理或终止用于IP摄像机，台式计算机和所有其他网络设备的以太网LAN点的电缆。

处理所有这些的最佳方法是使用RJ45配线架终止以太网电缆。安装在1U空间中的普通接线板通常提供多达24个端口，并且通常需要某种形式的手动输入，例如剥离电缆，将其固定到接线板中以及使用线缆测试工具来验证其连接性。根据你的预算，你可以让网络专业人士或专家在一天内为你处理所有这些问题。

除了配线架之外，你还需要使用束线带，因为当你尝试固定杂散电缆时它们会派上用场。你可以获得可以重复使用的标准电缆扎带，当你批量购买时它们非常便宜。

6.学会标记，保持简单

在设置服务器时，要学会标记和记录你所使用的流程，这点是非常重要的。这样做，便于任何新员工或者供应商在需要了解服务器机房时，能够高效并系统的了解到服务器的整体系统情况。并且还可以防止可能发生的任何灾难性错误，包括重新启动或拔出系统而不发出任何形式的警告。

正确标记基础设施的最简单和最好的方法之一是使用标签打印机。该打印机可以从任何硬件商店购买。你必须使用正确描述它们的唯一名称或其IP地址来标记网络和服务器设备。你还应该为键盘，鼠标和视频开关，路由器，NAS设备，冗余硬件和数据备份设备等其他IT设备执行相同的操作。

这些注意事项应打印出来并妥善详细，以便轻松解释与你的内部硬件相关的重要程序。这些打印件应贴在冰箱磁铁或服务器机柜上。为了获得最佳结果，它们应包括与数据备份，联网，启动或关闭这些设备相关的操作说明，以防断电。

除了以上几点，还有一些需要你去了解和注意的地方：

a.空间要求

b.地板和柜子类型

c.设备尺寸

d.加热和冷却系统

e.电气设置

f.防火

g.紧急电气备份

h.安全和警报

最重要的一点是，以上所有内容都要花钱，所以要规划好你的预算，不要让设置服务器机房花掉了你整个IT预算。

参考Ceph官方安装文档

Openstack环境中，数据存储可分为临时性存储与永久性存储。

临时性存储：主要由本地文件系统提供，并主要用于nova虚拟机的本地系统与临时数据盘，以及存储glance上传的系统镜像；

永久性存储：主要由cinder提供的块存储与swift提供的对象存储构成，以cinder提供的块存储应用最为广泛，块存储通常以云盘的形式挂载到虚拟机中使用。

Openstack中需要进行数据存储的三大项目主要是nova项目（虚拟机镜像文件），glance项目（共用模版镜像）与cinder项目（块存储）。

下图为cinder，glance与nova访问ceph集群的逻辑图：

ceph与openstack集成主要用到ceph的rbd服务，ceph底层为rados存储集群，ceph通过librados库实现对底层rados的访问；

openstack各项目客户端调用librbd，再由librbd调用librados访问底层rados；

实际使用中，nova需要使用libvirtdriver驱动以通过libvirt与qemu调用librbd；cinder与glance可直接调用librbd；

写入ceph集群的数据被条带切分成多个object，object通过hash函数映射到pg（构成pg容器池pool），然后pg通过几圈crush算法近似均匀地映射到物理存储设备osd（osd是基于文件系统的物理存储设备，如xfs，ext4等）。

CEPH PG数量设置与详细介绍

在创建池之前要设置一下每个OSD的最大PG 数量

PG PGP官方计算公式计算器

参数解释：

依据参数使用公式计算新的 PG 的数目:

PG 总数= ((OSD总数*100)/最大副本数)/池数

3x100/3/3=33.33 舍入到2的N次幕为32

openstack集群作为ceph的客户端；下面需要再openstack集群上进行ceph客户端的环境配置

在openstack所有控制和计算节点安装ceph Octopus源码包，centos8有默认安装，但是版本一定要跟连接的ceph版本一致

glance-api 服务运行在3个控制节点， 因此三台控制节点都必须安装

cinder-volume 与 nova-compute 服务运行在3个计算（存储）节点； 因此三台计算节点都必须安装

将配置文件和密钥复制到openstack集群各节点

配置文件就是生成的ceph.conf；而密钥是 ceph.client.admin.keyring ，当使用ceph客户端连接至ceph集群时需要使用的密默认密钥，这里我们所有节点都要复制，命令如下

※Glance 作为openstack中镜像服务，支持多种适配器，支持将镜像存放到本地文件系统，http服务器，ceph分布式文件系统，glusterfs和sleepdog等开源的分布式文件系统上。目前glance采用的是本地filesystem的方式存储，存放在默认的路径 /var/lib/glance/images 下，当把本地的文件系统修改为分布式的文件系统ceph之后，原本在系统中镜像将无法使用，所以建议当前的镜像删除，部署好ceph之后，再统一上传至ceph中存储。

※Nova 负责虚拟机的生命周期管理，包括创建，删除，重建，开机，关机，重启，快照等，作为openstack的核心，nova负责IaaS中计算重要的职责，其中nova的存储格外重要，默认情况下，nova将instance的数据存放在/var/lib/nova/instances/%UUID目录下，使用本地的存储空间。使用这种方式带来的好处是:简单，易实现，速度快，故障域在一个可控制的范围内。然而，缺点也非常明显：compute出故障，上面的虚拟机down机时间长，没法快速恢复，此外，一些特性如热迁移live-migration,虚拟机容灾nova evacuate等高级特性，将无法使用，对于后期的云平台建设，有明显的缺陷。对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova，更准确来说是对接 QEMU-KVM/libvirt，因为 librbd 早已原生集成到其中。

※Cinder 为 OpenStack 提供卷服务，支持非常广泛的后端存储类型。对接 Ceph 后，Cinder 创建的 Volume 本质就是 Ceph RBD 的块设备，当 Volume 被虚拟机挂载后，Libvirt 会以 rbd 协议的方式使用这些 Disk 设备。除了 cinder-volume 之后，Cinder 的 Backup 服务也可以对接 Ceph，将备份的 Image 以对象或块设备的形式上传到 Ceph 集群。

使用ceph的rbd接口，需要通过libvirt，所以需要在客户端机器上安装libvirt和qemu，关于ceph和openstack结合的结构如下，同时，在openstack中，需要用到存储的地方有三个:

为 Glance、Nova、Cinder 创建专用的RBD Pools池

需要配置hosts解析文件，这里最开始已经配置完成，如未添加hosts解析需要进行配置

在cephnode01管理节点上操作 ；命名为：volumes，vms，images

记录：删除存储池的操作

在cephnode01管理节点上操作 ；

针对pool设置权限，pool名对应创建的pool

nova-compute与cinder-volume都部署在计算节点 ，不必重复操作,如果计算节点与存储节点分离需要分别推送；

全部计算节点配置；以compute01节点为例；

Glance 为 OpenStack 提供镜像及其元数据注册服务，Glance 支持对接多种后端存储。与 Ceph 完成对接后，Glance 上传的 Image 会作为块设备储存在 Ceph 集群中。新版本的 Glance 也开始支持 enabled_backends 了，可以同时对接多个存储提供商。

写时复制技术(copy-on-write) ：内核只为新生成的子进程创建虚拟空间结构，它们复制于父进程的虚拟空间结构，但是不为这些段分配物理内存，它们共享父进程的物理空间，当父子进程中有更改相应的段的行为发生时，再为子进程相应的段分配物理空间。写时复制技术大大降低了进程对资源的浪费。

全部控制节点进行配置；以controller01节点为例；

只修改涉及glance集成ceph的相关配置

变更配置文件，重启服务

ceph官网介绍 QEMU和块设备

对接 Ceph 之后，通常会以 RAW 格式创建 Glance Image，而不再使用 QCOW2 格式，否则创建虚拟机时需要进行镜像复制，没有利用 Ceph RBD COW 的优秀特性。

总结

将openstack集群中的glance镜像的数据存储到ceph中是一种非常好的解决方案，既能够保障镜像数据的安全性，同时glance和nova在同个存储池中，能够基于copy-on-write(写时复制)的方式快速创建虚拟机，能够在秒级为单位实现vm的创建。

全部计算节点进行配置； 以compute01节点为例；只修改glance集成ceph的相关配置

全部计算节点重启cinder-volume服务；

任意openstack控制节点上查看

在任意控制节点为cinder的ceph后端存储创建对应的type，在配置多存储后端时可区分类型；

为ceph type设置扩展规格，键值 volume_backend_name ，value值 ceph

任意控制节点上创建一个1GB的卷 ；最后的数字1代表容量为1G

查看创建好的卷

openstack创建一个空白 Volume，Ceph相当于执行了以下指令

从镜像创建 Volume 的时候应用了 Ceph RBD COW Clone 功能，这是通过 glance-api.conf [DEFAULT] show_image_direct_url = True 来开启。这个配置项的作用是持久化 Image 的 location，此时 Glance RBD Driver 才可以通过 Image location 执行 Clone 操作。并且还会根据指定的 Volume Size 来调整 RBD Image 的 Size。

一直存在的cirros_qcow2镜像为对接ceph之前的镜像，现在已无法使用，所以将之删除

在openstack上从镜像创建一个Volume，Ceph相当于执行了以下指令

任意控制节点操作；

查看快照详细信息

在openstack上对镜像的卷创建快照，Ceph相当于执行了以下指令

如果说快照时一个时间机器，那么备份就是一个异地的时间机器，它具有容灾的含义。所以一般来说 Ceph Pool backup 应该与 Pool images、volumes 以及 vms 处于不同的灾备隔离域。

https://www.cnblogs.com/luohaixian/p/9344803.html

https://docs.openstack.org/zh_CN/user-guide/backup-db-incremental.html

一般的，备份具有以下类型：

在虚拟磁盘映像的计算节点上使用本地存储有一些缺点：

Nova 为 OpenStack 提供计算服务，对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova，更准确来说是对接 QEMU-KVM/libvirt ，因为 librbd 早已原生集成到其中。

如果需要从ceph rbd中启动虚拟机，必须将ceph配置为nova的临时后端；

推荐在计算节点的配置文件中启用rbd cache功能；

为了便于故障排查，配置admin socket参数，这样每个使用ceph rbd的虚拟机都有1个socket将有利于虚拟机性能分析与故障解决；

相关配置只涉及全部计算节点ceph.conf文件的[client]与[client.cinder]字段，以compute163节点为例

全部计算节点配置 ceph.conf文件相关的 [client] 与 [client.cinder] 字段，以compute01节点为例；

在全部计算节点配置nova后端使用ceph集群的vms池，以compute01节点为例；

在全部计算节点操作

在全部计算节点操作，以compute01节点为例；

以下给出libvirtd.conf文件的修改处所在的行num

云服务器是基于规模化的物理服务器集群，每个集群节点被部署在骨干数据中心，可独立提供计算、存储、带宽等互联网基础设施服务。云服务器的物理架构，由存储服务器集群、计算服务器集群、基础架构管理服务器和网络交换机组成。其中，存储服务器集群构建虚拟资源池，具备超大容量，为节点内的云虚拟机提供逻辑磁盘存储、非结构数据存储以及整合备份服务计算服务器集群，通过虚拟化技术整合，由控制平台按需生成、调配计算资源管理服务器，采取双机热备的方式，对整个节点的所有计算服务器、共享存储、网络进行管理，同时对外提供管理整个节点的API网络交换机，负责管理网段、公网交换网段、内部交换网段、存储网段等。

云服务器的资源都是从资源池中调配组合而成。资源池，是由数十台到数百台甚至数万台服务器跨节点、跨数据中心组成，通过成熟的虚拟化技术和已部署的管理程序，共同管理虚拟池中的资源。虚拟化，就是将规模级的物理资源(CPU、内存、磁盘等)高度整合和自由分配，实现资源的弹性扩容或缩减，以及快速地在不断电的前提下完成资源的变化。这就必须要有底层虚拟化技术、SDN的支持。

---