文件服务器文件加载较慢的解决方案(CDN+Nginx)

文件服务器文件加载较慢的解决方案(CDN+Nginx),第1张

通过nginx解决图片加载较慢,连接数较多,宽带占用的问题。可以通过简单配置达到目的,主要配置以下几项内容:

小结: 也许是我对nginx的基础以及理解不够全面,但是我觉得宽带因素等条件都摆在那里,在同一台文件服务器上也只能是限制客户端的连接来进行优化。所以只是简单做了优化后久没有深化研究,而且我们的文件服务器上的文件也不少。

CDN(Content Delivery Network): 内容分发网络,通过cdn访问文件服务器时,cdn会将文件缓存到cdn服务器,下一次访问该文件时,就直接从cdn的缓存服务器上获取文件,而不需要到文件服务器获取文件。具体的知识介绍可参考 百度百科 。

阿里云的CDN介绍:内容分发网络(Content Delivery Network,CDN)是建立并覆盖在承载网上,由不同区域的服务器组成的分布式网络。将源站资源缓存到全国各地的边缘服务器,供用户就近获取,降低源站压力。

根据文档中阿里云在国内拥有2300+节点,所有节点均接入万兆网卡,单节点存储容量达40TB 1.5PB,带宽负载达到40Gbps 200Gbps,具备130Tbps带宽储备能力。所以我们暂时选择了阿里云的CDN。

我们根据阿里云的CDN文档进行配置之后遇到一个问题,cdn的域名配置成功后,在nginx上找不到文件,直接跑出404的异常。后面通过在 nginx中增加了一个解析cdn域名执行文件的配置 之后文件访问正常。

如果文件数量不算特别多,访问量不算特别大,可以通过配置本地nginx即可解决部分宽带压力,毕竟这个是不用花钱的。如果访问量下不了,而且宽带压力较大,则直接推荐使用阿里云的CDN服务,配置各种都挺简单。我们的服务器是托管在电信机房,百兆共享宽带,在没有使用CDN之前,每天8:00-00:00这个时间段基本上服务器网络下行速度11M/s,配置CDN之后基本在1-5m/s之间浮动。所以说使用CDN还是能解决一大部分问题。

MySQL 在崩溃恢复时,会遍历打开所有 ibd 文件的 header page 验证数据字典的准确性,如果 MySQL 中包含了大量表,这个校验过程就会比较耗时。 MySQL 下崩溃恢复确实和表数量有关,表总数越大,崩溃恢复时间越长。另外磁盘 IOPS 也会影响崩溃恢复时间,像这里开发库的 HDD IOPS 较低,因此面对大量的表空间,校验速度就非常缓慢。另外一个发现,MySQL 8 下正常启用时居然也会进行表空间校验,而故障恢复时则会额外再进行一次表空间校验,等于校验了 2 遍。不过 MySQL 8.0 里多了一个特性,即表数量超过 5W 时,会启用多线程扫描,加快表空间校验过程。

如何跳过校验MySQL 5.7 下有方法可以跳过崩溃恢复时的表空间校验过程嘛?查阅了资料,方法主要有两种:

1. 配置 innodb_force_recovery可以使 srv_force_recovery != 0 ,那么 validate = false,即可以跳过表空间校验。实际测试的时候设置 innodb_force_recovery =1,也就是强制恢复跳过坏页,就可以跳过校验,然后重启就是正常启动了。通过这种临时方式可以避免崩溃恢复后非常耗时的表空间校验过程,快速启动 MySQL,个人目前暂时未发现有什么隐患。2. 使用共享表空间替代独立表空间这样就不需要打开 N 个 ibd 文件了,只需要打开一个 ibdata 文件即可,大大节省了校验时间。自从听了姜老师讲过使用共享表空间替代独立表空间解决 drop 大表时性能抖动的原理后,感觉共享表空间在很多业务环境下,反而更有优势。

临时冒出另外一种解决想法,即用 GDB 调试崩溃恢复,通过临时修改 validate 变量值让 MySQL 跳过表空间验证过程,然后让 MySQL 正常关闭,重新启动就可以正常启动了。但是实际测试发现,如果以 debug 模式运行,确实可以临时修改 validate 变量,跳过表空间验证过程,但是 debug 模式下代码运行效率大打折扣,反而耗时更长。而以非 debug 模式运行,则无法修改 validate 变量,想法破灭。

原神校验文件要24小时。一般的话是需要24个小时的话就可以了 所以这样的话我们就知道 如果说特殊的话是需要72个小时 。

电脑版原神不需要自己效验时间,只要连接网络,应用会自动校准。

文件校验的介绍

每个文件都可以用MD5验证程序算出一个固定的MD5码来。软件作者往往会事先计算出他的程序的MD5码并帖在网上。因此,在网上看到某个程序下载旁注明了MD5码时,可以把它记下来,下载了这个程序后用MD5验证程序计算你所下载的文件的MD5码。

和你之前记下MD5码比较,就知道你下的是不是原版了,如果两者相同,那么你所下载的是原版。如果计算出来的和网上注明的不匹配,那么你下载的这个文件不完整,或是被别人动过手脚。不过这种方式依旧有漏洞。

正式基于此,MAC诞生了,MAC是发送方和接收放约定的一个特定的数值串,当发送方发送文件时,将文件内容加上MAC一起进行HASH计算MAC不随文件一同发送,此时第三方尽管截获到此文件,由于没有MAC,因此无法再计算出正确的HASH值。


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/703013.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-08-04
下一篇2023-08-04

发表评论

登录后才能评论

评论列表(0条)

    保存