mitmproxy安装与安卓模拟器的配合使用-手机APP爬虫

参考链接： https://zhuanlan.zhihu.com/p/68806789

介绍一款爬虫辅助工具mitmproxy ，mitmproxy 就是用于MITM的proxy,MITM中间人攻击。说白了就是服务器和客户机中间通讯多增加了一层。跟Fiddler和Charles最大的不同就是，mitmproxy可以进行二次开发，尤其可以对接python。

mitmproxy一般用于开发或者测试，用在爬虫辅助也是极好的。

github地址： https://github.com/mitmproxy/mitmproxy

官网地址： https://mitmproxy.org/

进入CMD窗口，Python3执行

安装完成后，系统将拥有 mitmproxy、mitmdump、mitmweb 三个命令，由于 mitmproxy 命令不支持在 windows 系统中运行。

控制台运行

输出

同时打开你的默认浏览器

这是完毕，在随便访问一个网站，例如百度，一股似曾相识的感觉铺面而来，这就是网页版的Fiddler

接下来关闭所有 Chrome 窗口，否则命令行启动时的附加参数将失效。打开 cmd，执行：

前面那一长串是 Chrome 的的安装路径，应当根据系统实际情况修改，后面两参数设置了代理地址并强制忽略掉证书错误。

当我们初次运行mitmproxy或mitmdump时，

会在当前目录下生成 ~/.mitmproxy文件夹，其中该文件下包含4个文件，这就是我们要的证书了。

windows上安装证书很简单，双击.p12结尾的证书文件即可。 安卓手机需要将对应的文件发送到手机文件，进行安装。

在windows平台下一般使用mitmdump 控制台运行 mitmdump，出现如下结果

打开模拟器，跟fiddler和Charles的配置其实是非常类似的

先安装散热片

在固定到底板上，一共有四个螺丝

查SD卡的那一侧先不安装

固定好风扇

完成！

我们都知道数据信息是很重要的，当我们进行数据采集的时候直接去别人的网站住区数据的话，是会被网站的反爬虫限制，如果我们是不使用代理ip，在数据采集的时候可能就不能顺利地完成工作。代理ip可以帮助我们隐藏真实的ip地址，我们就像一个真实的用户在浏览网页。可以放心的进行数据抓取。

因为互联网的发展很多的HTTP代理开始出现，很多的人不知道选择什么用哪个代理商。我们在选择的时候要看自己从事的什么业务，不能随便的选择。我自己使用过的HTTP代理有极光HTTP，稳定性比较高。操作也很简单。

1、使用HTTP代理-登录注册

2、提取代理ip-生成生成API链接生-打开链接

3、可以使用打开360安全浏览器，并点击【打开菜单-工具-代理服务器-代理服务器设置】

4、粘贴提取的代理IP地址至代理服务器列表，即完成设置

---