SEO爬虫定律什么意思

没有爬虫定律这个说法啊。搜索引擎的爬虫就是搜索引擎的采集软件，每天不停的抓取、采集互联网上的网页。

　网络爬虫工作原理

1、聚焦爬虫工作原理及关键技术概述

网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止，另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：

对抓取目标的描述或定义；

对网页或数据的分析与过滤；

对URL的搜索策略。

抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。

seo移动端搜索爬虫有很多，主要有以下几个：

百度蜘蛛，360蜘蛛，Google机器人，搜狗蜘蛛，神马搜索蜘蛛，头条搜索蜘蛛爬虫等；

海外的主要有Google机器人和bing搜索蜘蛛，还有就是各个国家有各自的搜索引擎，每个搜索引擎都有自己的制作爬虫来抓取网页信息。

搜索引擎蜘蛛爬虫

1、搜索引擎优化(SEO：Search Engine Optimization)，SEO由英文Search Engine Optimization缩写而来，中文意译为“搜索引擎优化”，SEO是指从自然搜索结果获得网站流量的技术和过程，是在了解搜索引擎自然排名机制的基础上，对网站进行内部及外部的调整优化，改进网站在搜索引擎中的关键词自然排名，获得更多流量，从而达成网站销售及品牌建设的目标。

2、静态页面(static page)，HTML格式的网页通常被称为“静态页面”，早期的网站一般都是由静态页面制作的。静态页面是相对于动态页面而言，是指没有后台数据库、不含程序和不可交互的网页。静态页面相对更新起来比较麻烦，适用于一般更新较少的展示型网站。

3、动态页面(dynamic page)，动态页面是指跟静态网页相对的一种网页编程技术。网址特别长，而且还带有“?”的链接一般是动态链接，其所对应的页面就是动态页面。动态页面代码显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的。

4、白帽SEO(White hat SEO)，白帽SEO是一种公正的手法，是使用符合主流搜索引擎发行方针规定的seo优化方法，它是与黑帽seo相反的，白帽SEO一直被业内认为是最佳的SEO手法，它是在避免一切风险的情况下进行操作的，同时也避免了与搜索引擎发行方针发生任何的冲突，它也是SEOer从业者的最高职业道德标准。

5、黑帽SEO(Black hat SEO)，笼统的说，所有使用作弊手段或可疑手段的，都可以称为黑帽SEO，比如说垃圾链接，隐藏网页，桥页，关键词堆砌等等。黑帽SEO就是作弊的意思，黑帽seo手法不符合主流搜索引擎发行方针规定，黑帽SEO获利主要的特点就是短平快，为了短期内的利益而采用的作弊方法，同时随时因为搜索引擎算法的改变而面临惩罚。

6、灰帽SEO，所谓灰帽SEO灰帽，即是指介于白帽与黑帽之间的中间地带，相对于白帽而言，会采取一些取巧的方式来操作，这些行为因为不算违规，但同样也不遵守规则，是为灰色地带(具体可查看马海祥博客《什么是灰帽SEO技术》的相关介绍)。

7、PageRank(PR值)，PageRank是迷恋Google的人们用来测试其站点在Google中的排名的一种度量标准，SEO和搜索引擎营销(SEM)专家也使用这个术语描述网页在SERP中的排名以及Google根据排名算法给予站点的分数，无论如何定义，PageRank都是SEO的重要部分。

8、中文分词，这是中文搜索引擎特有的过程，指的是将中间没有空格的、连续的中文字符序列，分隔成一个一个单独的、有意义的单词的过程，在英文拉丁文文字中，词与词之间有空格自然区隔，所以没有分词的必要，而中文句子包含很多词，词之间没有自然分隔，搜索引擎在提取、索引关键词及用户输入了关键词需要进行排名时，都需要先进行分词。

9、网络爬虫(Spider)，网络爬虫(又被称为网页蜘蛛，网络机器人，搜索引擎蜘蛛，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。

---