有时候进行爬虫抓取，会被封IP，有没有办法更换IP？

1、IP必须需要，如果有条件，建议一定要使用代理IP。

有外网IP的机器上，部署爬虫代理服务器。

你的程序，使用轮训替换代理服务器来访问想要采集的网站。

2、ADSL+脚本，监测是否被封，然后不断切换ip

设置查询频率限制正统的做法是调用该网站提供的服务接口。

3、useragent伪装和轮换

使用代理ip和轮换

cookies的处理，有的网站对登录用户政策宽松些

4、网站封的依据一般是单位时间内特定IP的访问次数.将采集的任务按目标站点的IP进行分组通过控制每个IP在单位时间内发出任务的个数,来避免被封.当然,这个前题采集很多网站.如果只是采集一个网站,那么只能通过多外部IP的方式来实现了.

　

5、对爬虫抓取进行压力控制；可以考虑使用代理的方式访问目标站点。

降低抓取频率，时间设置长一些，访问时间采用随机数

频繁切换UserAgent（模拟浏览器访问）

多页面数据，随机访问然后抓取数据

使用http例如IPIDEA，这是最直接有效的方法！　

1、放慢爬取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的爬取量。

第二种方法是通过设置IP等手段，突破反爬虫机制继续高频率爬取。网站的反爬机制会检查来访的IP地址，为了防止IP被封，这时就可以使用HTTP，来切换不同的IP爬取内容。使用代理IP简单的来讲就是让代理服务器去帮我们得到网页内容，然后再转发回我们的电脑。要选择高匿的ip，IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。

2、这样目标网站既不知道我们使用代理，更不会知道我们真实的IP地址。

3、建立IP池，池子尽可能的大，且不同IP均匀轮换。

如果你需要大量爬去数据，建议你使用HTTP代理IP，在IP被封掉之前或者封掉之后迅速换掉该IP，这里有个使用的技巧是循环使用，在一个IP没有被封之前，就换掉，过一会再换回来。这样就可以使用相对较少的IP进行大量访问。

1.‌使用正确的代理

‌如果站点检测到来自该IP地址的大量请求，很容易就会直接进行限制。但是如何避免通过同一个IP地址发送所有请求呢？这就需要代理IP出场了。代理IP可以充当用户客户端和尝试抓取的站点服务器之间的中介，并允许用户在发送请求时掩盖真实IP地址。

2. 轮换IP地址

获得代理池不足以防止用户爬虫被阻止，还需要定期轮换IP地址以进一步降低概率。

大多数网站的运作都理解为每个互联网用户只能获得一个分配给他们的IP地址。这就是为什么当一堆请求来自同一个IP号码时，就会立刻被发现。然而，用户通过代理IP将请求伪装成数千个用户的数千个请求就显得比较正常。

3.熟悉网站的反爬策略

大多数受欢迎的网站都有严格的反抓取规则。在用户尝试从任何网站提取数据之前，可以通过检查网站的机器人排除协议或robots.txt文件的方式先对网站的反爬策略进行一定的了解。

---