如何用爬虫爬网络代理服务器地址

网络数据量越来越大，从网页中获取信息变得越来越困难，如何有效地抓取并利用信息，已成为网络爬虫一个巨大的挑战。下面IPIDEA为大家讲明爬虫代理IP的使用方法。

1. 利用爬虫脚本每天定时爬取代理网站上的ip，写入MongoDB或者其他的数据库中，这张表作为原始表。

2. 使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时能够利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。

3. 把有效的ip写入ip代理池的配置文件，重新加载配置文件。

4.让爬虫程序去指定的dailiy的服务ip和端口，进行爬取。

有很多小白在学习Python的初期，都会遇到爬虫IP被限制的情况，那么在面对这种突发情况，有什么好的解决办法吗？别急，IPIPGO教你三招！

（一）降低访问速度，减小对于目标网站造成的压力。过快的访问会导致IP被封，我们首先要检测出网站设置的限制速度阈值，这样我们才可以设置合理的访问速度，建议不要设固定的访问速度，可以设置在一个范围之内，因为过于规律而被系统检测到，也会导致IP被封。有时候平台为了阻止频繁访问，会设置IP在规定时间内的访问次数，超过次数就会禁止访问。

（二）设置代理IP辅助爬取。降低访问速度难以避免会影响到爬取效率，如果抓取速度过慢，就失去了使用爬虫抓取的优势了。这时就可以使用代理IP，来规避网站对IP的检测来，通过切换不同的IP爬取内容，让代理服务器去帮我们获得网页内容，然后再转发回我们的电脑。选择代理时最好是IPIPGO这种住宅代理，真实家庭IP地址，不易被网站拦截。

（三）user_agent 伪装和轮换

不同浏览器的不同版本都有不同的user_agent，是浏览器类型的详细信息，也是浏览器提交Http请求的重要头部信息。我们可以在每次请求的时候提供不同的user_agent，绕过网站检测客户端的反爬虫机制。比如说，可以把很多的user_agent放在一个列表中，每次随机选一个用于提交访问请求，你可以找到提供各种user_agent的网站来使用。

爬取网站会经常因为反爬取技术而失败，高效高强度的爬取网页信息会给服务器带来巨大压力，所以同一IP爬取很可能被封，因此就要用到代理IP。

代理IP有免费的、付费的、自己扫的和拨号vps等多种类型的，可是实际能用的却在少数，多是IP可用率低，时效无法保证，IP池不够大导致IP重复使用。有的便宜的IP甚至不稳定经常掉线，这样爬取内容要付出相当长的时间；还有的IP售后响应不及时甚至没有售后可言。

---