python爬虫是干嘛的

爬虫技术是一种自动化程序。

爬虫就是一种可以从网页上抓取数据信息并保存的自动化程序，它的原理就是模拟浏览器发送网络请求，接受请求响应，然后按照一定的规则自动抓取互联网数据。

搜索引擎通过这些爬虫从一个网站爬到另一个网站，跟踪网页中的链接，访问更多的网页，这个过程称为爬行，这些新的网址会被存入数据库等待搜索。简而言之，爬虫就是通过不间断地访问互联网，然后从中获取你指定的信息并返回给你。而我们的互联网上，随时都有无数的爬虫在爬取数据，并返回给使用者。

爬虫技术的功能

1、获取网页

获取网页可以简单理解为向网页的服务器发送网络请求，然后服务器返回给我们网页的源代码，其中通信的底层原理较为复杂，而Python给我们封装好了urllib库和requests库等，这些库可以让我们非常简单的发送各种形式的请求。

2、提取信息

获取到的网页源码内包含了很多信息，想要进提取到我们需要的信息，则需要对源码还要做进一步筛选。可以选用python中的re库即通过正则匹配的形式去提取信息，也可以采用BeautifulSoup库（bs4）等解析源代码，除了有自动编码的优势之外，bs4库还可以结构化输出源代码信息，更易于理解与使用。

3、保存数据

提取到我们需要的有用信息后，需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据，也可以用第三方库保存为其它形式的数据，例如可以通过pandas库保存为常见的xlsx数据，如果有图片等非结构化数据还可以通过pymongo库保存至非结构化数据库中。

之前给大家介绍了Python爬虫库requests的发送请求传参等使用方法,在requests模块中，它的操作方法可以有很多，比如获取响应内容、响应状态码、响应头等相关信息，下面一起来学习这篇有关“Python爬虫库requests如何获取响应内容？requests模块可以获取到哪些响应内容？”的文章吧，希望对大家的学习有更多的帮助。

我们在使用模块之前，都会对它进行导入操作，requests模块也不例外，导入的方法如下：

import requests

一、获取响应的内容

在Python不同的类型中，响应的内容也会有所不同，而在我们对网页发送一个请求的时候，服务器就会给我们返回响应的内容，并且使用requests它就会对我们的这个内容进行自动解码操作。

1、文本响应内容

Requests库中，它可以对一个文本的响应进行获取，代码如下：

r = requests.get('https://www.baidu.com')

r.text

这里是通过text文本的形式获取响应内容。不仅如此它还可以使用encoding来获取一个响应内容的编码以及还可以对编码进行修改。方法如下：

r.encoding

输出编码格式为：

'ISO-8859-1'

2、二进制响应内容

Requests不仅可以对一个文本进行响应，还可以对一个二进制内容进行响应，使用方法很简单，如下：

r.content

只需要通过content方法，获取的内容就是一个二进制类型的文件响应。

有关Python爬虫库requests如何获取响应内容？requests模块可以获取到哪些响应内容？的学习到这里就结束了，想要学习Python爬虫库requests的知识可以继续关注哦，会每天给大家更新不一样内容。

如何入门 python 爬虫

先自己答一个，期待牛人的回答。

自己学Python不久，列举自己做过的和知道的。

1. Python做爬虫很方便，有现成的库。 我在学习python的过程中也遇到过一个非常简单的例子，代码：python/primer/20/Cralwer.py at master · xxg1413/python · GitHub 。好像有开源的项目叫什么supercrawler，具体可以看看。

2.Python做游戏。Pygame还是不错的，但只适合做小游戏。用Pygame写个植物大战僵尸还是可以的。推荐教程 用Python和Pygame写游戏。Python在游戏服务器方面也有应用。EVE这种游戏都大量用Python。

3.Python作为黑客第一语言，在黑客领域的应用就不多说了。

4.Python做网站，有几个web框架 WebFrameworks。 用得最多的是Django。

5......各方面都有，什么推荐系统，都是用python，在此就不一一列举了。

---