如何收集和存储服务器运营的数据

如何收集和存储服务器运营的数据

1、大数据的处理 经过长时间的实践和总结，我们发现服务器运营的大数据有以下四个特点，由浅入深，分别是： ...

2、运营系统架构 对于海量服务器的管理，我们建立了一套功能强大的运营分析系统，从服务器的带内和带外收集了全面的静态属性和动态运行数据，对服务器的每个关节进行的全方位的数据采集和监控，犹如我们平时体检，把心、肝、脾、肺、肾，甚至每个毛孔，都进行了检查，系统架构如下图所示：

3、存储和分析 数据收集起来后，除了一部分实时的数据存在本地数据库，几乎全部的历史数据都会存储在公司级的数据平台中，这个数据平台提供了丰富的工具系统，功能全面，涵盖了数据存储、分析、实时计算等。 ...

4、大数据的四个实践

（1）、硬盘故障预测

（2）、服务器利用率分析

（3）、故障率分析

（4）、环境监控

亿万克是研祥高科技控股集团旗下全资子公司。研祥集团作为中国企业500强，持续运营30年。研祥集团全球49个分支机构，三个国家级创新平台，一直致力于技术创新引领行业发展，拥有超1100项授权专利，超1300项非专利核心技术。【感兴趣请点击此处，了解一下。 】

说白了就是服务器的承受能力。 第一，确认服务器硬件是否足够支持当前的流量。

普通的P4服务器一般最多能支持每天10万独立IP，如果访问量比这个还要大，那么必须首先配置一台更高性能的专用服务器才能解决问题，否则怎么优化都不可能彻底解决性能问题。

第二，优化数据库访问。

服务器的负载过大，一个重要的原因是CPU负荷过大，降低服务器CPU的负荷，才能够有效打破瓶颈。而使用静态页面可以使得CPU的负荷最小化。前台实现完全的静态化当然最好，可以完全不用访问数据库，不过对于频繁更新的网站，静态化往往不能满足某些功能。

缓存技术就是另一个解决方案，就是将动态数据存储到缓存文件中，动态网页直接调用这些文件，而不必再访问数据库，WordPress和Z-Blog都大量使用这种缓存技术。我自己也写过一个Z-Blog的计数器插件，也是基于这样的原理。

如果确实无法避免对数据库的访问，那么可以尝试优化数据库的查询SQL.避免使用Select *from这样的语句，每次查询只返回自己需要的结果，避免短时间内的大量SQL查询。

第三，禁止外部的盗链。

外部网站的图片或者文件盗链往往会带来大量的负载压力，因此应该严格限制外部对于自身的图片或者文件盗链，好在目前可以简单地通过refer来控制盗链，Apache自己就可以通过配置来禁止盗链，IIS也有一些第三方的ISAPI可以实现同样的功能。当然，伪造refer也可以通过代码来实现盗链，不过目前蓄意伪造refer盗链的还不多，可以先不去考虑，或者使用非技术手段来解决，比如在图片上增加水印。

第四，控制大文件的下载。

大文件的下载会占用很大的流量，并且对于非SCSI硬盘来说，大量文件下载会消耗CPU，使得网站响应能力下降。因此，尽量不要提供超过2M的大文件下载，如果需要提供，建议将大文件放在另外一台服务器上。目前有不少免费的Web2.0网站提供图片分享和文件分享功能，因此可以尽量将图片和文件上传到这些分享网站。

对象存储可以简单理解为用来存储图片、音频、视频等非结构化数据的数据池。相对于主机服务器，具有读写速度快，利于分享的特点。在这里给大家总结了这六点。

1、网站数据动静分离，大幅提升网页性能

一般情况下，我们都是建议使用主机服务器和对象存储分工合作的方式来存储网站数据。主机服务器主要负责存储网站的动态数据，对象存储则用来存储网站的静态文件。从而实现网站的动静分离，当用户访问一个网站时，分别从主机服务器和对象存储的服务器同步读取数据，可以大幅的提升网页性能。

2、单独的文件管理界面，管理网站文件和本地电脑一样方便

无论是腾讯云、阿里云、杉岩，对象存储都有单独的管理控制台，腾讯云和阿里云还有专门的电脑客户端。你不必打开网站，就可以像使用百度云盘一样使用对象存储来管理你的网站文件，除了上传、下载、预览等常用功能，还可以直接在对象存储上进行图片处理/媒体转码/数据分析等。

3、本质是”内置大容量硬盘的分布式服务器“，同一个文件支持跨域共享

对象存储的本质是“内置大容量硬盘的分布式服务器”，对象存储有自己的 CPU、内存、网络和磁盘系统，具备一定的智能，同一个对象存储数据池可以新建不同的存储桶（bucket），分别用来存储不同网站的数据，彼此互不干扰。而且同一个文件可以引用到不同的网站，可以有效的减少数据冗余。

4、储存节点多，支持跨地域实时同步，实现异地容灾

假设你的图片等数据存储在你自己的服务器上，只能通过定期数据备份的方式保护你的数据。数据量大的话，每次备份都需要大量的时间和占用大量的磁盘空间，管理起来还不方便。

如果你的数据放置在对象存储的数据池了，并与网站关联。那么静态文件的备份就可以交给对象存储。你只需要对网站少量的动态文件进行备份。省时省力。

比如我使用对象存储，我在离我最近的节点【深圳】来存储网站的图片等静态文件。但是考虑到极端情况，比如深圳节点由于突然停电，可能导致数据全部丢失。但如果之前我选择了【杭州】作为第二个存储节点，而且设置【深圳】节点的数据实时增量同步到【杭州】节点。那么就算深圳节点的数据丢失了，但是我在杭州的数据还是可以使用。等到恢复供电，我再把数据从杭州节点同步回深圳节点就可以了。这就是我们说的异地容灾。

5、成本低，资源弹性伸缩，按需付费

对象存储不像服务器的流量是固定的，包含在服务器的费用里面了。无论你用或不用，都是这么多。对象存储可以是根据你的实际使用量进行计费。

6、节省服务器空间

为什么选择将这一点放在最后说呢？因为现在服务器的价格还算实惠，活动也比较多。大部分站长已经不存在服务器空间不够用的问题。而且对象存储的出现也不是为了解决服务器空间不够用的问题。而是为了结合【块存储】、【文件存储】各自的优点，从而实现高效的文件读写和分享。但是节省了服务器空间还是不争得事实，所以还是提一下吧。

---