java爬虫代理如何实现

无论是使用java、Python爬取数据，都会出现IP被封的情况，所以就需要使用代理IP替我们操作。我一般会利用Java的HttpClient包，来加入动态代理功能，我使用的是芝麻HTTP代理，当然你也可以选择其他的代理提供商。

1、先声明一个代理类

2、声明一个HttpClient 对象，设置好超时时间

3、设置芝麻HTTP代理

4、测试当前的代理是否有用

5、得到服务器是否对我们进行屏蔽，如果返回的是SC_FORBIDDEN，代表被屏蔽的，那么我们就一个一个代理去试，也就是调用第四步的函数去判断当前的代理是否有用

可能是代码异常。

写代码总是会出异常的，尤其是爬虫这类程序，无法确保每次请求都能稳定地返回统一的结果，比如反爬虫策略提升代理IP超时程序异常等等，处理好这些问题，才能保证爬虫程序持续地运行下去，反爬虫策略，超时设置网络总是不会一如既往的稳定如一，可能代理IP某个时间不稳定，也可能目标服务器某个时间不稳定，还有自身机器的网络也可能不稳定，如果不设置好超时，程序也不好跑下去。

---