SEO禁止抓取太泛是什么意思

主要意思是：网站关键词设置不要太宽泛。

成熟的搜索引擎网站都没有固定的搜索算法与规则，确认的网站关键词一定是和你的站点高度有关的,况且网站关键词的搜索频率要高。如果关键词设置过于宽泛，搜索引擎无法判断该站点的有效信息到底是指什么，那么网站权重不会高，严重的还会被搜索引擎判定为作弊，对该站点做出降权的惩罚动作

根目录下，有一个robot.txt文件，disallow /index.html，如果有其他页面可以继续加如：

disallow /indx.html *不让抓取根目录下的index.html页面*

disallow /nwes *不让抓取nwes文件夹里的东西*

良好的关键词和描述会吸引更多的用户去点击，从而为我们的网站带来流量。

对于网站的标题，首先我们应该清楚网站的标题长度在30个字左右，因为搜索引擎在搜索结果中只显示30个字左右，写多了也没用。其次，首页的标题应该包含重要的主关键词和品牌词，有很多人会有疑惑为什么标题中要包含品牌词，这是因为品牌词使用户更好识别，最后，标题中的关键词用英文半角的符号(_)、(|)、(，)、(-)隔开都是可以的，下划线(_)的效果是空格，网站标题是数量一般为3个关键词加上1个品牌词，宜少不宜多。

网站栏目的标题一般设置是”栏目名称-品牌词“，不需要做多余的描述。一是因为内页的权重值本身就不高，布局多个关键词是非常不合理的。二是因为简洁的栏目名称能够使用户一眼就能看出这个栏目是干什么的，有利于用户体验。网站文章页的标题的一般设置为”文章标题-品牌词“就可以了。

keywords标签就是用来放置关键词的，但是，百度站长平台的Lee对站长提问keywords标签时说过，“keywords标签早就进历史的垃圾堆了，我们会直接忽略。”由此可见，在百度的排名算法当中，网站的排名与keywords标签里面放置的关键词没有任何的关系。

description是网站的描述，虽然并不直接参与影响关键词的排名，但是，用户会在搜索结果中参考网站描述点击网站，提高网站在搜索结果中的点击量，搜索点击量是有利于网站的排名的。描述在排名中最大的价值就是吸引用户去点击，因此我们在写网站描述的时候，要把网站的特色特点写出来，吸引用户去点击而不是由关键词堆积组成的。

总结，合理的设置网站标题和描述，是网站优化的基本，要知道这些关键词的选取并不是凭空想象出来的，它是需要我们进行用户需求分析和大量的关键词筛选，这样才能保证我们的网站既有排名又有流量。

---