使用T4对这些AI推理模型加速时，采用传统物理机部署和使用云服务器部署，在使用和性能上有什么差异？

蓝海大脑深度学习液冷服务器研究人员表示:

其实现在的很多场景都部署在物理机上，云服务的好处是可以动态的进行资源的申请，这样就不用考虑高峰期的资源复用问题，只需要在高峰时期弹性的申请资源。对于传统物理机的部署的场景，其实可以更好的去处理你的workload，每个workload其实并不是说一张卡完全就不能搞定，在工程实际的尝试中，你会发现CPU和GPU之间的资源配比，其实是需要每个场景都单独的去考虑的，所以在这种场景下，可以结合你本地的硬件环境去做调整，然后找到一个最优，对于你这种场景的一个实现，这是我理解的物理机部署和云服务部署之间的优势和劣势。

随着互联网技术的不断发展，我们在进行服务器开发方面也掌握了很多的开发部署技术。今天，云南IT培训http://www.kmbdqn.cn/就给大家简单来介绍一下，都有哪些服务器开发部署方法是值得我们使用的。

停机部署

停机部署其实是简单粗暴的方式，就是简单地把现有版本的服务停机，然后部署新的版本。在一些时候，我们必需使用这样的方式来部署或升级多个服务。比如，新版本中的服务使用到了和老版本完全不兼容的数据表的设计。这个时候，我们对生产有两个变更，一个是数据库，另一个是服务，而且新老版本互不兼容，所以只能使用停机部署的方式。

这种方式的优势是，在部署过程中不会出现新老版本同时在线的情况，所有状态完全一致。停机部署主要是为了新版本的一致性问题。

这种方式不好的问题就是会停机，对用户的影响会很大。所以，一般来说，这种部署方式需要事前挂公告，选择一个用户访问少的时间段来做。

蓝绿部署

蓝绿部署与停机部署大的不同是，其在生产线上部署相同数量的新的服务，然后当新的服务测试确认OK后，把流量切到新的服务这边来。蓝绿部署比停机部署好的地方是，它无需停机。

我们可以看到这种部署方式，就是我们说的预发环境。在我以前的金融公司里，也经常用这种方式，生产线上有两套相同的集群，一套是Prod是真实服务的，另一套是Stage是预发环境，发布发Stage，然后把流量切到Stage这边，于是Stage就成了Prod，而之前的Prod则成了Stage。有点像换页似的。

这种方式的优点是没有停机，实时发布和升级，也避免有新旧版本同时在线的问题。但这种部署的问题就是有点浪费，因为需要使用双倍的资源(不过，这只是在物理机时代，在云计算时代没事，因为虚拟机部署完就可以释放了)。

另外，如果我们的服务中有状态，比如一些缓存什么的，停机部署和蓝绿部署都会有问题。

滚动部署

滚动部署策略是指通过逐个替换应用的所有实例，来缓慢发布应用的一个新版本。通常过程如下：在负载调度后有个版本A的应用实例池，一个版本B的实例部署成功，可以响应请求时，该实例被加入到池中。然后，版本A的一个实例从池中删除并下线。

这种部署方式直接对现有的服务进行升级，虽然便于操作，而且在缓慢地更新的过程中，对于有状态的服务也是比较友好的，状态可以在更新中慢慢重建起来。但是，这种部署的问题也是比较多的。

在发布过程中，会出现新老两个版本同时在线的情况，同一用户的请求可能在新老版中切换而导致问题。

orical必须部署在物理机上。在数据中心里面，会有大量的机架，大量的服务器，并通过交换机和路由器将服务器连接起来，有的应用例如orical是需要部署在物理机上的。虚拟化采取的运维方式多是由运维部门统一管理，当一个公司里面部门非常多的时候，往往要引入良好的租户管理。

物理机的含义

物理机，对应采购的服务器设备，又叫裸设备，随着摩尔定律的增长，单个服务器的性能逐渐提升，物理服务器的性能是如此的高，以至于我们实际使用到的物理机的性能只占了百分之几甚至更低，为了灵活的部署系统和应用，需要一层虚拟层在物理机之上，这就是虚拟机。物理机就是普通的主机。

---