对于网站来说,尤其是流量较大出名的网站,经常遇到攻击,如DDOS攻击等,虽然有些第三方,如Cloudflare可以挡,但对于动态网站PHP来说,只能挡一部分。这时候需要对于单个IP恶意攻击做出限流。nginx的两个模块可以限流。
nginx两个限流模块:
连接频率限制,ngx_http_limit_conn_module:官方文档:https://nginx.org/en/docs/http/ngx_http_limit_conn_module.html
请求频率限制,ngx_http_limit_req_module:官方文档:https://nginx.org/en/docs/http/ngx_http_limit_req_module.html
网上理论很多,根据名字可知:
当然还是看不懂的话,通俗点讲(相对于时间比较):
比如秒杀,抢购,连接频率限制和请求频率限制应该配合使用 , 使用连接频率限制同一IP同时只能有3个连接, 再使用请求频率限制对于同一ip的请求,限制平均速率为5个请求/秒 , 这样比单独只使用一种限制要好很多。
比如只使用请求频率限制 , 可以精确地限制同一ip1秒只能发起5次的http请求 , 假如同一ip1秒内发起了100000次请求 , 虽然限制了只有5次成功响应 , 但是其他的99995次的请求TCP握手建立http连接是不是会消耗服务器资源? 所以还需要配合使用。
1、limit_req_zone,示例:
2、limit_conn_zone,示例:
3、搭配一起使用
1、ab命令
ab是apache自带的压力测试工具。一般不用额外安装,ab非常实用,它不仅可以对apache服务器进行网站访问压力测试,也可以对或其它类型的服务器进行压力测试。比如nginx、tomcat、IIS等。
测试命令
2、wrk命令
需自己安装,地址:https://github.com/wg/wrk
安装
测试命令:
还有其他压测工具,自行研究
是的,目前使用市面家用的路由器会把从这个路由器出去的所有IP地址都转成一个地址出去,这就是为什么用同一个路由器大家一起也就只能使用10次,如果不嫌麻烦,每个人可以单独访问出去,不经过路由器,这样能保证每个人都能访问10次。但希望破解这种限制,那就是黑客的层次,要潜入对方的系统更改参数,但不建议这样做
有很多小白在学习Python的初期,都会遇到爬虫IP被限制的情况,那么在面对这种突发情况,有什么好的解决办法吗?别急,IPIPGO教你三招!
(一)降低访问速度,减小对于目标网站造成的压力。过快的访问会导致IP被封,我们首先要检测出网站设置的限制速度阈值,这样我们才可以设置合理的访问速度,建议不要设固定的访问速度,可以设置在一个范围之内,因为过于规律而被系统检测到,也会导致IP被封。有时候平台为了阻止频繁访问,会设置IP在规定时间内的访问次数,超过次数就会禁止访问。
(二)设置代理IP辅助爬取。降低访问速度难以避免会影响到爬取效率,如果抓取速度过慢,就失去了使用爬虫抓取的优势了。这时就可以使用代理IP,来规避网站对IP的检测来,通过切换不同的IP爬取内容,让代理服务器去帮我们获得网页内容,然后再转发回我们的电脑。选择代理时最好是IPIPGO这种住宅代理,真实家庭IP地址,不易被网站拦截。
(三)user_agent 伪装和轮换
不同浏览器的不同版本都有不同的user_agent,是浏览器类型的详细信息,也是浏览器提交Http请求的重要头部信息。我们可以在每次请求的时候提供不同的user_agent,绕过网站检测客户端的反爬虫机制。比如说,可以把很多的user_agent放在一个列表中,每次随机选一个用于提交访问请求,你可以找到提供各种user_agent的网站来使用。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)