如何用爬虫爬网络代理服务器地址

网络数据量越来越大，从网页中获取信息变得越来越困难，如何有效地抓取并利用信息，已成为网络爬虫一个巨大的挑战。下面IPIDEA为大家讲明爬虫代理IP的使用方法。

1. 利用爬虫脚本每天定时爬取代理网站上的ip，写入MongoDB或者其他的数据库中，这张表作为原始表。

2. 使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时能够利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。

3. 把有效的ip写入ip代理池的配置文件，重新加载配置文件。

4.让爬虫程序去指定的dailiy的服务ip和端口，进行爬取。

很多网络爬虫爬着爬着就爬不动了，换个方法继续爬一会又趴窝了，使出浑身解数大战三百回合，哪怕使用了代理IP，也依然败下阵来，那么问题到底出在哪呢？究根结底，是没有找出到底是谁泄了密，是谁告诉了目标网站自己是爬虫。

一般来说，网站会通过以下几个方面来识别对方是爬虫还是真实用户，让我们一起来看看吧。

一、单一IP非常规的访问频次

我们经常会遇到这样一种情况，当我们在某个网站上发帖时，会提示“发帖过快，请等待XX秒”，或者提示“刷新频率过快，请歇一会”，这都是网站为了缓解压力才对“用户”作出的限制。而爬虫相对于真实用户来说更疯狂，访问的频次更快，如果单一IP访问频次非常高，那么将会被判为“爬虫”，进而受到限制。

二、单一IP非常规的数据流量

当单一IP的数据流量非常大时，也会引起网站的注意。说到数据流量有些朋友就会有疑问了，下载站的数据流量大也是很正常的。这里说的数据流量不只是单一的下载数据流量，而是大量的并发请求。高并发请求很容易对服务器造成高负荷，所以受到限制也是很正常的。

三、大量重复简单的网站浏览行为

我们知道，不同的用户浏览速度、习惯等都不相同，有的人浏览一个页面需要五秒，有的需要思考一分钟等等，当存在大量的用户IP都是千篇一律的浏览速度，比如3秒访问一个页面，那么这就非常可疑了，受到封杀也是正常的，就算用了代理IP也避免不了。

四、headers头部校验

除了上面3个比较明显的爬虫行为，网站还会校验headers。headers头部的参数很多，其实也容易伪装，但有些初学者往往会忽略。比较常见的是User-Agent、Referer这两个参数，不同的浏览器有不同的User-Agent，访问来源也各不相同，如果不注意的话，很容易被识别。

五、链接陷阱

我们知道，爬虫爬取页面时，会识别页面中所有的URL地址去爬取，特别是一些没有明确目标的爬虫。有的网站会将一些链接放在CSS里或者JS里，这些链接正常用户是不会去访问的，它们就相当于陷进，作用是钓出爬虫，一不小心就容易中招。

以上五点是比较常见的识别爬虫的手段，要想不被目标网站这么快识别，就要有效的规避这五点，做好爬虫策略，当然反爬手段远远不止这些，这就需要好好研究了。

---