如何撰写优秀系统运维架构解决方案及推动实施案例(一场没有硝烟的战争)

优酷 视频：运维就是一场没有硝烟的战争

最近在优酷上在线看了老男孩的“如何撰写优秀系统运维架构解决方案及推动实施案例分享”(一场没有硝烟的战争)的视频，非常有感触。随着业务和应用的发展，公司的IT架构和系统运维架构都是需要不断进行调整的，而作为运维人员在确保线上稳定的情况下还需要不断去深挖系统架构中存在的不足和潜在的问题，而系统架构的调整通常会面临风险，从这个角度上说运维就是一场没有硝烟的战争，这场战争背负着运维人员的价值和企业IT的自身发展和跨越。

一、运维人员的成长与价值

引用 老男孩 的一段话“在企业的实际工作中，大多数朋友在遇到工作中的架构、系统等等问题或缺陷时，起初都会主动和领导说，我们的系统，架构有什么什么问题，但是你和领导说完话后，领导经常会一笑置之，或者不以为然，杳无音信，甚至给你泼一盆冷水。你的积极主动的心态就这样日复一日的被磨平，加薪升职的机会也就变得遥远甚至无望。如果遇到比较好的领导，则会指引你，例如：让你写解决方案，并用数据说话，你可能苦于不会写方案或者撰写的方案太烂，导致最终没能达到推进改进工作中问题的目的，也因此错失了提升自己技能和发展的机会。”

他的这段话道出了大部分企业或公司里的现状，运维或IT人员通常被领导看做专业服务人员  ，IT部或运维部也通常被认为是成本部门而不是创造价值的部门，你做好是应该的，而出了问题就是你的责任，所以大部分运维人员提出的问题或系统缺陷不能引起领导的重视。但是作为一个运维人员，只知道按部就班的处理问题和解决故障，在企业里是很难得到重视和加薪升职的。

如果你要成为一个积极主动的优秀的运维工程师，就需要在完成本职工作的同时还能自己主动去研究一些问题，发现系统架构中的缺陷和不足，并最大限度的实现改进公司系统架构等问题，从而才能体现自身的创造工作价值，从而加快自身成长及获得提升的空间。

二、方案的撰写和演讲能力的培养

  很多运维工程师包括技术很牛的运维工程师，处理问题和解决故障很有能力和水平，但是却写不出一份优秀的技术方案，结果不能数据说话，也不能被领导了解和信服，这样无形中错失了很多表现和提升自己的机会；再或者遇到架构、系统等方面的问题或缺陷，自己知道但也不能写出一份优秀的解决方案，最后没能得到大家的认可，自己提出的建议没能被公司采纳并实施，自己也觉得很郁闷，久而久之失去了激情和创新的勇气。

   老男孩在这个分享的视频中，以一个线上性能问题的自然暴漏产生的一个具体的需求为例，去分析架构不合理存在的潜在隐患，并以一个具体实用完整的方案（包括架构图、硬件状况、业务分析）为例步步引导大家如何去撰写优秀的系统运维架构的调整解决方案并说服领导者以身推动方案的实施，教会大家在企业中如何做。这个案例非常具有典型性，也对正在成长的运维工程师们是个很好的启发和教育。

   初级运维是解决问题，中级运维是提出问题，而高级运维是发现问题并引领问题的解决。要写出一个优秀的系统运维架构解决方案，必然是对当前的系统架构非常熟悉，关注到问题并发现潜在的问题，并通过测试得到可信的数据，下一步通过开会讨论让大家信服并得到领导的认可，继而推动方案的实施，最后确定方案具体的实施人员和部门协作，成功完成方案的落地和实现，可以说每一个细节老男孩都说到了，发自肺腑啊。

   开会讨论环节，优秀的运维人员应该有非常好的演讲能力。一个优秀方案的提出，肯定是经过你细致认真思考的，对可能出现的问题都有经过你的测试并且有数据来支撑你的想法和观点，所以表述的时候你应该充满自信，这样大家自然会相信你，选择你的解决方案。同时要注意做两套方案，可供老大参考和决策，让老大做选择题而不是问答题，如果大家认可和接受了你的方案，自然风险大家同担，出了问题也不会都怪罪到你头上。那么演讲能力的培养，大家也不用担心，一回生二回熟，什么都是练出来的，好东西就要讲出来，自己应该最有信心才对。

三、新技术的关注和运用

 运维人员另一个创造自己价值、加快自我成长的方法就是要加强对新技术的关注和应用。举一个例子，某公司的小李是一名普通的运维工程师，在公司里工作两年后一直没有什么提升和加薪的好机会。但是他非常喜欢和关注虚拟化技术，经过认真学习研究一段时间后，花半个月写了一份优秀的虚拟化解决方案，针对本公司目前的开发测试的快速部署和迭代需求，从虚拟化的节省成本、快速部署、实时迁移、资源动态分配等角度完整全面的分析了存在的问题并经过自己测试得到的数据验证了自己的构想和解决方案。当他把这份报告提交到领导那里后，经过开会讨论，领导采纳了他的虚拟化解决方案，并提升他为虚拟化架构主管开始负责实施部署和应用。小李成功的从普通运维工程师转变为虚拟化主管，实现了个人价值的提升。当然我们身边这样的例子不少，相信大家都会有感悟，更知道该怎么做。

  运维是一场没有硝烟的战争，面对不断变化的系统和架构，学习技术的同时更要学会发现、思考和成长，我想这正是老男孩告诉我们的。

网友看了老男孩老师的视频感悟，很棒。

来自：https://yq.aliyun.com/articles/22110

架构师呀 那么先从运维工程师做起吧 ，要学习网络方面的知识，数据在网络中怎么传递，linux的基本操作，各项服务的配置和原理，计算机硬件的知识也要了解 有了这些基础了之后会接触到网络架构 ，架构是对各方面综合考虑针对相关业务作出的部署方案，就不如访问网站 ，客户端在浏览器上输入一个IP有外网就能连接上，而这个公司呢 要考虑的就很多了 域名解析 每天有多少访问量 多大的带宽 部署多少台服务器 用lvs keeplive 分发 用apache nagix tomcat处理不同的请求页面 ，后台数据库的选着mysql 还是oracle db2 怎么做数据库的备份容灾 ，全国各个地方做cdn加速呢还是缓存服务器 ，这是一个简单的lamp架构 每一个节点上都要做很多的考虑高负载高可用性，一台服务器荡了对整个服务不影响，各种应急预案，业务扩展，成本与收益等，这是积累了很多项目经验后，遇到过各种问题 解决掉 对整个系统结构业务机构很熟悉后才能去做的职业，从基础坐起 架构师不是梦

运维自动化是我们所渴望获得的，但是我们在一味强调自动化能力时，却忽略了影响自动化落地的一个关键因素。那便是跟运维朝夕相处，让人又爱又恨的业务架构。

要点一：架构独立

任何架构的产生都是为了满足特定的业务诉求，如果我们在满足业务要求的同时，能够兼顾运维对架构管理的非功能性要求。那么我们有理由认为这样的架构是对运维友好的。

站在运维的角度，所诉求的架构独立包含四个方面：独立部署，独立测试，组件化和技术解耦。

独立部署

指的是一份源代码，可以按照便于运维的管理要求去部署、升级、伸缩等，可通过配置来区分地域分布。服务间相互调用通过接口请求实现，部署独立性也是运维独立性的前提。

独立测试

运维能够通过一些便捷的测试用例或者工具，验证该业务架构或服务的可用性。具备该能力的业务架构或服务让运维具备了独立上线的能力，而不需要每次发布或变更都需要开发或测试人员的参与。

组件规范

指的是在同一个公司内对相关的技术能有很好的框架支持，从而避免不同的开发团队使用不同的技术栈或者组件，造成公司内部的技术架构失控。

这种做法能够限制运维对象的无序增加，让运维对生产环境始终保持着掌控。同时也能够让运维保持更多的精力投入，来围绕着标准组件做更多的效率与质量的建设工作。

技术解耦

指的是降低服务和服务之间相互依赖的关系，也包含了降低代码对配置文件的依赖。这也是实现微服务的基础，实现独立部署、独立测试、组件化的基础。

要点二：部署友好

DevOps 中有大量的篇幅讲述持续交付的技术实践，希望从端到端打通开发、测试、运维的所有技术环节，以实现快速部署和交付价值的目标。可见，部署是运维日常工作很重要的组成部分，是属于计划内的工作，重复度高，必须提升效率。

实现高效可靠的部署能力，要做好全局规划，以保证部署以及运营阶段的全方位运维掌控。有五个纬度的内容是与部署友好相关的：

CMDB配置

在每次部署操作前，运维需要清晰的掌握该应用与架构、与业务的关系，为了更好的全局理解和评估工作量和潜在风险。

在织云自动化运维平台中，我们习惯于将业务关系、集群管理、运营状态、重要级别、架构层等配置信息作为运维的管理对象纳管于CMDB配置管理数据库中。这种管理办法的好处很明显，集中存储运维对象的配置信息，对日后涉及的运维操作、监控和告警等自动化能力建设，将提供大量的配置数据支撑和决策辅助的功效。

环境配置

在运维标准化程度不高的企业中，阻碍部署交付效率的原罪之一便是环境配置，这也是容器化技术主要希望解决的运维痛点之一。

腾讯的运维实践中，对开发、测试、生产三大主要环境的标准化管理，通过枚举纳管与环境相关的资源集合与运维操作，结合自动初始化工具以实现标准环境管理的落地。

依赖管理

解决应用软件对库、运营环境等依赖关系的管理。在织云实践经验中，我们利用包管理，将依赖的库文件或环境的配置，通过整体打包和前后置执行脚本的方案，解决应用软件在不同环境部署的难题。业界还有更轻量的容器化交付方法，也是不错的选择。

部署方式

持续交付原则提到要打造可靠可重复的交付流水线，对应用软件的部署操作，我们也强烈按此目标来规划。业界有很多案例可以参考，如Docker的Build、Ship、Run，如织云的通过配置描述、标准化流程的一键部署等等。

发布自测

发布自测包含两部分：

应用的轻量级测试；

发布/变更内容的校对。

建设这两种能力以应对不同的运维场景需求，如在增量发布时，使用发布内容的校对能力，运维人员可快速的获取变更文件md5，或对相关的进程和端口的配置信息进行检查比对，确保每次发布变更的可靠。

同理，轻量级测试则是满足发布时对服务可用性检测的需求，此步骤可以检测服务的连通性，也可以跑些主干的测试用例。

灰度上线

在《日常运维三十六计》中有这么一句话：对不可逆的删除或修改操作，尽量延迟或慢速执行。这便是灰度的思想，无论是从用户、时间、服务器等纬度的灰度上线，都是希望尽量降低上线操作的风险，业务架构支持灰度发布的能力，让应用部署过程的风险降低，对运维更友好。

要点三：可运维性

运维脑海中最理想的微服务架构，首当其冲的肯定是可运维性强的那类。不具可运维性的应用或架构，对运维团队带来的不仅仅是黑锅，还有对他们职业发展的深深的伤害，因为维护一个没有可运维性的架构，简直就是在浪费运维人员的生命。

可运维性按操作规范和管理规范可以被归纳为以下七点：

配置管理

在微服务架构管理中，我们提议将应用的二进制文件与配置分离管理，以便于实现独立部署的目的。

被分离出来的应用配置，有三种管理办法：

文件模式；

配置项模式；

分布式配置中心模式。

限于篇幅不就以上三种方式的优劣展开讨论。不同的企业可选用最适用的配置管理办法，关键是要求各业务使用一致的方案，运维便可以有针对性的建设工具和系统来做好配置管理。

版本管理

DevOps持续交付八大原则之一“把所有的东西都纳入版本控制”。就运维对象而言，想要管理好它，就必须能够清晰的描述它。

和源代码管理的要求类似，运维也需要对日常操作的对象，如包、配置、脚本等都进行脚本化管理，以备在运维系统在完成自动化操作时，能够准确无误的选定被操作的对象和版本。

标准操作

运维日常有大量重复度高的工作需要被执行，从精益思想的视角看，这里存在极大的浪费：学习成本、无价值操作、重复建设的脚本/工具、人肉执行的风险等等。

倘若能在企业内形成统一的运维操作规范，如文件传输、远程执行、应用启动停止等等操作都被规范化、集中化、一键化的操作，运维的效率和质量将得以极大的提升。

进程管理

包括应用安装路径、目录结构、规范进程名、规范端口号、启停方式、监控方案等等，被收纳在进程管理的范畴。做好进程管理的全局规划，能够极大的提升自动化运维程度，减少计划外任务的发生。

空间管理

做好磁盘空间使用的管理，是为了保证业务数据的有序存放，也是降低计划外任务发生的有效手段。

要求提前做好的规划：备份策略、存储方案、容量预警、清理策略等，辅以行之有效的工具，让这些任务不再困扰运维。

日志管理

日志规范的推行和贯彻需要研发密切配合，在实践中得出的经验，运维理想中的日志规范要包含这些要求：

业务数据与日志分离

日志与业务逻辑解耦

日志格式统一

返回码及注释清晰

可获取业务指标（请求量/成功率/延时）

定义关键事件

输出级别

管理方案（存放时长、压缩备份等）

当具体上述条件的日志规范得以落地，开发、运维和业务都能相应的获得较好的监控分析能力。

集中管控

运维的工作先天就容易被切割成不同的部分，发布变更、监控分析、故障处理、项目支持、多云管理等等，我们诉求一站式的运维管理平台，使得所有的工作信息能够衔接起来和传承经验，杜绝因为信息孤岛或人工传递信息而造成的运营风险，提升整体运维管控的效率和质量。

要点四：容错容灾

在腾讯技术运营（运维）的四大职责：质量、效率、成本、安全。质量是首要保障的阵地，转换成架构的视角，运维眼中理想的高可用架构架构设计应该包含以下几点：

负载均衡

无论是软件或硬件的负责均衡的方案，从运维的角度出发，我们总希望业务架构是无状态的，路由寻址是智能化的，集群容错是自动实现的。

在腾讯多年的路由软件实践中，软件的负载均衡方案被广泛应用，为业务架构实现高可用立下汗马功劳。

可调度性

在移动互联网盛行的年代，可调度性是容灾容错的一项极其重要的运维手段。在业务遭遇无法立刻解决的故障时，将用户或服务调离异常区域，是海量运营实践中屡试不爽的技巧，也是腾讯QQ和微信保障平台业务质量的核心运维能力之一。

结合域名、VIP、接入网关等技术，让架构支持调度的能力，丰富运维管理手段，有能力更从容的应对各种故障场景。

异地多活

异地多活是数据高可用的诉求，是可调度性的前提。针对不同的业务场景，技术实现的手段不限。

腾讯社交的实践可以参考周小军老师的文章“2亿QQ用户大调度背后的架构设计和高效运营”。

主从切换

在数据库的高可用方案中，主从切换是最常见的容灾容错方案。通过在业务逻辑中实现读写分离，再结合智能路由选择实现无人职守的主从切换自动化，无疑是架构设计对DBA最好的馈赠。

柔性可用

“先扛住再优化”是腾讯海量运营思想之一，也为我们在做业务架构的高可用设计点明了方向。

如何在业务量突增的情况下，最大程度的保障业务可用？是做架构规划和设计时不可回避的问题。巧妙的设置柔性开关，或者在架构中内置自动拒绝超额请求的逻辑，能够在关键时刻保证后端服务不雪崩，确保业务架构的高可用。

要点五：质量监控

保障和提高业务质量是运维努力追逐的目标，而监控能力是我们实现目标的重要技术手段。运维希望架构为质量监控提供便利和数据支持，要求实现以下几点：

指标度量

每个架构都必须能被指标度量，同时，我们希望的是最好只有唯一的指标度量。对于业务日趋完善的立体化监控，监控指标的数量随之会成倍增长。因此，架构的指标度量，我们希望的是最好只有唯一的指标度量。

基础监控

指的是网络、专线、主机、系统等低层次的指标能力，这类监控点大多属于非侵入式，很容易实现数据的采集。

在自动化运维能力健全的企业，基础监控产生的告警数据绝大部分会被收敛掉。同时，这部分监控数据将为高层次的业务监控提供数据支撑和决策依据，或者被包装成更贴近上层应用场景的业务监控数据使用，如容量、多维指标等。

组件监控

腾讯习惯把开发框架、路由服务、中间件等都统称为组件，这类监控介于基础监控和业务监控之间，运维常寄希望于在组件中内嵌监控逻辑，通过组件的推广，让组件监控的覆盖度提高，获取数据的成本属中等。如利用路由组件的监控，运维可以获得每个路由服务的请求量、延时等状态和质量指标。

业务监控

业务监控的实现方法分主动和被动的监控，即可侵入式实现，又能以旁路的方式达到目的。这类监控方案要求开发的配合，与编码和架构相关。

通常业务监控的指标都能归纳为请求量、成功率、延时3种指标。实现手段很多，有日志监控、流数据监控、波测等等，业务监控属于高层次的监控，往往能直接反馈业务问题，但倘若要深入分析出问题的根源，就必须结合必要的运维监控管理规范，如返回码定义、日志协议等。需要业务架构在设计时，前置考虑运维监控管理的诉求，全局规划好的范畴。

全链路监控

基础、组件、业务的监控手段更多的是聚焦于点的监控，在分布式架构的业务场景中，要做好监控，我们必须要考虑到服务请求链路的监控。

基于唯一的交易ID或RPC的调用关系，通过技术手段还原调用关系链，再通过模型或事件触发监控告警，来反馈服务链路的状态和质量。该监控手段属于监控的高阶应用，同样需要业务架构规划时做好前置规划和代码埋点。。

质量考核

任何监控能力的推进，质量的优化，都需要有管理的闭环，考核是一个不错的手段，从监控覆盖率、指标全面性、事件管理机制到报表考核打分，运维和开发可以携手打造一个持续反馈的质量管理闭环，让业务架构能够不断进化提升。

要点六：性能成本

在腾讯，所有的技术运营人员都肩负着一个重要的职能，就是要确保业务运营成本的合理。为此，我们必须对应用吞吐性能、业务容量规划和运营成本都要有相应的管理办法。

吞吐性能

DevOps持续交付方法论中，在测试阶段进行的非功能需求测试，其中很重要一点便是对架构吞吐性能的压测，并以此确保应用上线后业务容量的健康。

在腾讯的实践中，不仅限于测试阶段会做性能压测，我们会结合路由组件的功能，对业务模块、业务SET进行真实请求的压测，以此建立业务容量模型的基准。也从侧面提供数据论证该业务架构的吞吐性能是否达到成本考核的要求，利用不同业务间性能数据的对比，来推动架构性能的不断提高。

容量规划

英文capacity一词可以翻译成：应用性能、服务容量、业务总请求量，运维的容量规划是指在应用性能达标的前提下，基于业务总请求量的合理的服务容量规划。

运营成本

减少运营成本，是为公司减少现金流的投入，对企业的价值丝毫不弱于质量与效率的提升。

腾讯以社交、UGC、云计算、游戏、视频等富媒体业务为主，每年消耗在带宽、设备等运营成本的金额十分巨大。运维想要优化运营成本，常常会涉及到产品功能和业务架构的优化。因此，运维理想的业务架构设计需要有足够的成本意识，

小结

本文纯属个人以运维视角整理的对微服务架构设计的一些愚见，要实现运维价值最大化，要确保业务质量、效率、成本的全面提高，业务架构这块硬骨头是不得不啃的。

运维人需要有架构意识，能站在不同角度对业务架构提出建议或需求，这也是DevOps 精神所提倡的，开发和运维联手，持续优化出最好的业务架构。

---