为什么执行爬虫程序还要使用代理服务器？

在爬虫的时候，被爬网站是有反爬虫机制的，如果使用一个IP反复访问一个网页，就容易被出现IP限制，无法再对网站进行访问，这时就需要用到代理IP。

爬虫在抓取一个网站数据的时候，就相当于反复向一个人打招呼，有非常大的几率会被拉黑。使用代理IP更换不同IP，对方网站每次都以为是新用户，自然就没有拉黑的风险。

如果业务量不大，工作效率并没有太大要求，可以不使用代理IP。如果工作任务量大，抓取速度快，目标服务器会容易发现，所以就需要用代理IP来换IP后再抓取。通过以上的介绍，说明网络爬虫不是必须使用代理IP，但确是高效工作的好工具。目前ipidea已向众多互联网知名企业提供服务，对提高爬虫的抓取效率提供帮助，支持API批量使用，支持多线程高并发使用。

用芝麻VPS吧，不用自己搭建ip代理池，自动切换ip，超大空间可以搭建存储模块。独立空间，不占用服务器，所以如果刚起步做爬虫的话，而且并没有较为空旷的空间和宽裕的资金，这个还是不错的。

1、简介

使用同一个ip频繁爬取一个网站，久了之后会被该网站的服务器屏蔽。所以这个时候需要使用代理服务器。通过ip欺骗的方式去爬取网站

可以使用http://yum.iqianyue.com.com/proxy中找到很多服务器代理地址

2、应用

# *-*coding:utf-8*-*

from urllib import request

def use_porxy(porxy_addr,url):

porxy = request.ProxyHandler({'http':porxy_addr})

opener = request.build_opener(porxy, request.ProxyHandler)

request.install_opener(opener)

data = request.urlopen(url).read().decode('utf-8')

return data

data = use_porxy("114.115.182.59:128","http://www.baidu.com")

print(len(data))

---