Python爬虫与mac下Scrapy配置

用Python开发爬虫很方便。

本质：抓取---分析---存储

要点：

（1）get请求：最基本抓取。用到 urllib  urllib2  requests  httplib2 。

（2）表单登陆：向服务器发送post请求，服务器再将返回的cookie存入本地

（3）使用cookie登陆：

（4）对于反爬虫机制的处理：

(5)对于断线重连：使用multi_session和multi_open对爬虫抓取的session或opener进行保持

（6）多线程抓取

（7）对于Ajax请求

（8）自动化测试工具Selenium

由于 Linux下已经预装了 lxml 和 OPENSSL

如果想验证 lxml ，可以分别输入

出现下面的提示这证明已经安装成功

如果想验证 open ssl，则直接输入openssl 即可，如果跳转到 OPENSSL 命令行，则安装成功。

接下来直接安装 Scrapy 即可

安装完毕之后，输入 scrapy

注意，这里linux下不要输入Scrapy，linux依然严格区分大小写的，感谢kamen童鞋提醒。

如果出现如下提示，这证明安装成功

下面是stackoverflow上的高票解决办法：

I've just fixed this issue on my OS X.

Please backup your files first.

Scrapy 1.0.0 is ready to go.

网络数据量越来越大，从网页中获取信息变得越来越困难，如何有效地抓取并利用信息，已成为网络爬虫一个巨大的挑战。下面IPIDEA为大家讲明爬虫代理IP的使用方法。

1. 利用爬虫脚本每天定时爬取代理网站上的ip，写入MongoDB或者其他的数据库中，这张表作为原始表。

2. 使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时能够利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。

3. 把有效的ip写入ip代理池的配置文件，重新加载配置文件。

4.让爬虫程序去指定的dailiy的服务ip和端口，进行爬取。

现如今在许多Linux和UNIX的版本中默认已经自带了Python的安装版本。比如如果你的笔记本上装了Ubuntu操作系统的话，打开终端直接输入python,那么恭喜你，你可以直接使用Python了。如今，某些Windows预装的台式机（比如某些HP服务器）也都预装了Python. 因此Python安装时所需资源非常低。如果笔记本上是Windows/Mac, 直接去Python的官网下载所需版本，直接安装也就好了。现在的笔记本配置运行Python程序都绰绰有余的。即使是早期的电脑配置如奔腾处理器时代，256 m 内存或者512内存即可，20g以上硬盘， 跑起Python都不费力。

希望以上得回答能够帮助你。

---