SemrushBot这种爬虫来抓取是好事吗

不是好事。

SemrushBot分析你站点，收集你站点信息的，可用于竞争对手分析数据，当然要屏蔽这些bot，不然被竞争对手反向查一下，内裤都掉出来了，关键还是个国外的软件，可以说这东西完全没用。

下面给你整理了部分常用的专业术语：

1、搜索引擎优化（SEO：Search Engine Optimization）

SEO由英文Search Engine

Optimization缩写而来，中文意译为“搜索引擎优化”，SEO是指从自然搜索结果获得网站流量的技术和过程，是在了解搜索引擎自然排名机制的基

础上，对网站进行内部及外部的调整优化，改进网站在搜索引擎中的关键词自然排名，获得更多流量，从而达成网站销售及品牌建设的目标

2、白帽SEO（White hat SEO）

白帽SEO是一种公正的手法，是使用符合主流搜索引擎发行方针规定的seo优化方法，它是与黑帽seo相反的，白帽SEO一直被业内认为是最佳的SEO手法，它是在避免一切风险的情况下进行操作的，同时也避免了与搜索引擎发行方针发生任何的冲突，它也是SEOer从业者的最高职业道德标准。

3、黑帽SEO（Black hat SEO）

笼统的说，所有使用作弊手段或可疑手段的，都可以称为黑帽SEO，比如说垃圾链接，隐藏网页，桥页，关键词堆砌等等。

黑帽SEO就是作弊的意思，黑帽seo手法不符合主流搜索引擎发行方针规定，黑帽SEO获利主要的特点就是短平快，为了短期内的利益而采用的作弊方法，同时随时因为搜索引擎算法的改变而面临惩罚。

4、灰帽SEO

所谓灰帽SEO灰帽，即是指介于白帽与黑帽之间的中间地带，相对于白帽而言，会采取一些取巧的方式来操作，这些行为因为不算违规，但同样也不遵守规则，是为灰色地带

5、PageRank（PR值）

PageRank是迷恋Google的人们用来测试其站点在Google中的排名的一种度量标准，SEO和搜索引擎营销（SEM）专家也使用这个术语描述

网页在SERP中的排名以及Google根据排名算法给予站点的分数，无论如何定义，PageRank都是SEO的重要部分

6、百度权重

百度权重并不是像谷歌的PR、搜狗的SR、IBM hits等那样的算法，是对网站的综合评级。百度权重只是针对关键词排名方面给网站带来的欢迎度进行评级。

百度权重是爱站、站长工具等网站推出的针对网站关键词排名预计给网站带来流量，划分等级0-10的第三方网站欢迎度评估数据，百度官方明确表示不承认百度权重。

7、中文分词

这是中文搜索引擎特有的过程，指的是将中间没有空格的、连续的中文字符序列，分隔成一个一个单独的、有意义的单词的过程，在英文拉丁文文字中，词与词之间

有空格自然区隔，所以没有分词的必要，而中文句子包含很多词，词之间没有自然分隔，搜索引擎在提取、索引关键词及用户输入了关键词需要进行排名时，都需要

先进行分词。

8、网络爬虫（Spider）

网络爬虫（又被称为网页蜘蛛，网络机器人，搜索引擎蜘蛛，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫

SEO(搜索引擎优化)

SEO（Search Engine Optimization）:汉译为搜索引擎优化。搜索引擎优化是一种利用搜索引擎的搜索规则来提高目前网站在有关搜索引擎内的自然排名的方式。

>>一般SEO搜索引擎优化有以下几个优势特点：

l 优化的多面性

说道SEO具有很多的多面性，在SEO行业来说，有白帽与黑帽之分很神奇吧，凡是都有两面性。对于搜索引擎来说，价值所在就是为了为用户提供价值，百度搜索爬虫也会积极的抓取各个平台的的信息来展现在用户面前。

搜索引擎也包括：百度、搜索、神马、360、谷歌、雅虎、必应、SOSO，还有其他平台内的搜索引擎，说白了，只要有平台的地方，就需要SEO来做优化，以至于来讨好搜索引擎。

那么我们获取的流量就有了多面性，各个平台流量、搜索引擎流量，而这么流量我们多加利用还愁生意不好吗？

l 增加流量缩小成本

SEO优化实际就是通过迎合搜索引擎规则来获取流量的一种方式，直白的举例，就像红酒，红酒是好喝，但是后劲大。SEO优化就是一个长期的效果，周期长，效果好，比起竞价更靠谱。在直白的讲，就像高潮，SEO是持久性的高潮，SEM只会爽一会。

l 流量长期有效

我们在做SEO优化的时候，举个简单的例子，通过平台来做信息的优化，就像站在搜索引擎里面发传单，传单越多效果越好，在搜索引擎停留时间越长，权重排名越高，达到的效果比较长久。

竞价推广SEM，只要帐号有钱，我们就有流量，一旦没钱就没流量，这就是俗称的烧钱，烧钱越多，赚的越多。SEO优化不一样，通过优化后的信息都会进行搜索引擎展现，通过关键词搜索来的免费流量会源源不断，不会因为你不会停止SEO优化了就会没有流量，这就是前面说的向女的高潮一样，SEO要持续时间长。

有时搜索引擎会更新抓取的算法，算法一旦更新会影响到我们之前优化的效果，只要算法没有太大的变化波动，免费流量获取还是成本还是很低的，法然道三老师非常建议企业利用这种方法做网络营销。

l 增加信任度

SEO优化，能够解决最大的问题就是信任问题。因为，网络关系本身是一种弱关系，这种关系的之间很容易被各种潜在的疑问给崩溃，SEO就有建立信任的效果，不像SEM只能控制着陆页来说明一切，必经是CPC商业广告。

通过SEO自然排名，我们可以优化很多页面进入到搜索引擎的首页，或缺通过平台的合理组合来霸占搜索引擎的首页，来解决网络消费者与潜在网络消费者之间的关系，从技术层面来说，消费者会认为靠自然排名排上去的网站更专业、更可信，同时用户参与度和转化率也更高。

l 排除负面消息

有很多企业会被竞争对手来抹黑自己，还有明星之间的绯闻，利用SEO优化，都可以进行及时的公关，排除消费者或粉丝通过搜索引擎搜索关键词展现的负面信息。

长期的SEO可以通过增加品牌曝光率与品牌知名度，建立消息搜索壁垒，还能排除不必要的负面信息，SEO还是一个长期坚持的过程。

l 增加点击量

通过搜索引擎来的流量是非常大，相对SEM来说，长期的流量来源还是SEO为主，我们通过平台来做优化，可以使大量的信息获取排名，从而增加信息的点击量。

>>一般SEO搜索引擎优化有以下几个劣势：

l 收录周期长

一般来说，SEO优化的收录一般在三个月左右、慢的也要半年，急于求成是不行的。但是，收录慢不是难题，我们可以借助平台来做，B2B平台选择的好，收录快，见效快，之前法然道三老师的《B2B网络推广平台如何选择？》已经说明了这一点。

针对网站优化的新手来说，可能见效时间会比较长，多学习提升自己的优化技术来弥补吧。

l 量化难

做SEO优化，量化效果比较难，需要你非常深入的去研究才行，总结出一套量化考核办法，不像广告一样，后台帐号效果一目了然。

l 优化人员偏执

做网络推广需要部门之间的协同，然而，网络营销人才很匮乏，性格偏执往往技术性人才都这样，这就要考验SEOer团队协同能力，沟通能力了。

l 稳定性差

之前，我们也说了，SEO是针对搜索引擎规则的迎合来达到商业目的的行为。搜索引擎为了增加其平台价值，会通过收录算法来屏蔽垃圾信息，留住客户，做SEO也要经常的了解平台的算法，及时的更新信息，保持流量稳定性。

SEM (搜索引擎广告)

SEM就是根据用户使用搜索引擎的方式利用用户检索信息的机会尽可能将营销信息传递给目标用户。

>>一般SEO搜索引擎优化有以下几个优势:

l 实时流量

投放SEM广告，效果很快，十分钟之内就有流量，着陆页引导好，很快就会有询盘，俗话说：“拿人钱财，替人消灾”。

l 能量化测试

SEM与直通车有一样的效果，那就是测试页面的效果，也就是测试产品的效果，淘宝上架产品都会通过直通车来测款，来了解消费者对详情页的喜好感。

SEM，也有同样的效果，就是通过见效果来测试页面的喜好程度，这直接关系到的就是我们的产品询盘与转化、销量。

l 精准ROI计算

PPC有清晰的花费，展示、点击和转化，这些都可以被很好的追踪。通过数据分析对比可以清晰地计算CPS或CPA，通过分析这些指标可以帮助在线营销人员及时作出相应的调整策略。

l 精准投放

精准投放，放到线下来说，就是派销售员去完成销售计划，在线上的成本低，但是竞争大、不人性化。这种精准投放对企业来说还算是利好的，我们可以通过分析需求来精准投放城市，获取更多精准的点击与流量，花最少的钱，办最大的事。

l 品牌专区

百度的品牌专区非常好，一旦网站购买品牌专区，你就能够迅速获取大量用户关注度，把所有的不相关网站都挤出首屏。

>>一般SEO搜索引擎优化有以下几个劣势:

l 效果短

SEM的效果是很短的，文章前面也说了，不像SEO一样，效果持久，只要没钱，投放效果就没了，流量就没了。

行话叫“烧钱”，谁烧的多谁就是老大，获取的流量与询盘就会更多，作为企业应该看的很明白了，自己想想吧。

l 覆盖范围小

投放虽然可以全国性投放，但是那样竞争太多，花费高昂，广告对与消费者来说，心理认知本来就是打扰式的营销，非常反感，很多时候白天没人看，晚上看不着，SEM的用户覆盖度是很受局限性的，大量研究表明至少75%以上的点击来自SEO自然排名，所以对于企业来说，在做PPC的同时，SEO优化一定不能落下。

l 恶意点击

这个就有意思了，一部分会来自竞争对手的点击，一部分来自组织水军的点击，直接点的你怀疑人生，这是小企业最大的挑战，好不容易相信网络，让这些竞争对手直接点死你了。

l 信任度低

说道信任度，其实我到觉得旗鼓相当，但是，被很多企业给搞臭了，比如：莆田医院事件，他们有钱，不怕烧，实际医院服务怎么样呢？事件传播后，造成的消费者恐慌，很难相信搜索引擎广告了，再说平台应用的多样性，都喜欢蜗居在兴趣平台了，那里的广告更精准，更信任。

---