使用树莓派搭建爬虫服务器

先安装散热片

在固定到底板上，一共有四个螺丝

查SD卡的那一侧先不安装

固定好风扇

完成！

1、简介

使用同一个ip频繁爬取一个网站，久了之后会被该网站的服务器屏蔽。所以这个时候需要使用代理服务器。通过ip欺骗的方式去爬取网站

可以使用http://yum.iqianyue.com.com/proxy中找到很多服务器代理地址

2、应用

# *-*coding:utf-8*-*

from urllib import request

def use_porxy(porxy_addr,url):

porxy = request.ProxyHandler({'http':porxy_addr})

opener = request.build_opener(porxy, request.ProxyHandler)

request.install_opener(opener)

data = request.urlopen(url).read().decode('utf-8')

return data

data = use_porxy("114.115.182.59:128","http://www.baidu.com")

print(len(data))

打开火狐浏览器右上角的设置选项，选择“选项”

爬虫代理服务器怎么用？

选择左边选项栏中最下方的“高级”选项

爬虫代理服务器怎么用？

“高级”选项下拉菜单“网络”。

连接配置 Firefox 如何连接至国际互联网，右侧的“设置网络”

爬虫代理服务器怎么用？

在菜单中选择“手动选择配置代理”

爬虫代理服务器怎么用？

将您的http代理IP地址填写在IP地址栏内，端口代码写在相应的位置。

其他的代理SSL代理、FTP代理、socks主机都类似。

爬虫代理服务器怎么用？

END

注意事项

其他浏览器的处理方法差不多，选择代理IP一定要选择高质量的代理IP，否则就是在浪费时间。

诸如讯代理、蚂蚁代理、快代理这些网站所提供的代理IP的质量都还不错。每个代理提供商有自己的特色，可以多加尝试！

---