网站SEO首导航 有个2级域名的链接 不想被蜘蛛抓取 怎么破

根目录下，有一个robot.txt文件，disallow /index.html，如果有其他页面可以继续加如：

disallow /indx.html *不让抓取根目录下的index.html页面*

disallow /nwes *不让抓取nwes文件夹里的东西*

良好的关键词和描述会吸引更多的用户去点击，从而为我们的网站带来流量。

对于网站的标题，首先我们应该清楚网站的标题长度在30个字左右，因为搜索引擎在搜索结果中只显示30个字左右，写多了也没用。其次，首页的标题应该包含重要的主关键词和品牌词，有很多人会有疑惑为什么标题中要包含品牌词，这是因为品牌词使用户更好识别，最后，标题中的关键词用英文半角的符号(_)、(|)、(，)、(-)隔开都是可以的，下划线(_)的效果是空格，网站标题是数量一般为3个关键词加上1个品牌词，宜少不宜多。

网站栏目的标题一般设置是”栏目名称-品牌词“，不需要做多余的描述。一是因为内页的权重值本身就不高，布局多个关键词是非常不合理的。二是因为简洁的栏目名称能够使用户一眼就能看出这个栏目是干什么的，有利于用户体验。网站文章页的标题的一般设置为”文章标题-品牌词“就可以了。

keywords标签就是用来放置关键词的，但是，百度站长平台的Lee对站长提问keywords标签时说过，“keywords标签早就进历史的垃圾堆了，我们会直接忽略。”由此可见，在百度的排名算法当中，网站的排名与keywords标签里面放置的关键词没有任何的关系。

description是网站的描述，虽然并不直接参与影响关键词的排名，但是，用户会在搜索结果中参考网站描述点击网站，提高网站在搜索结果中的点击量，搜索点击量是有利于网站的排名的。描述在排名中最大的价值就是吸引用户去点击，因此我们在写网站描述的时候，要把网站的特色特点写出来，吸引用户去点击而不是由关键词堆积组成的。

总结，合理的设置网站标题和描述，是网站优化的基本，要知道这些关键词的选取并不是凭空想象出来的，它是需要我们进行用户需求分析和大量的关键词筛选，这样才能保证我们的网站既有排名又有流量。

操作方式有三种，一种是直接在网站后台进行设置（目前只有wordpress和Zblog程序才有这个功能），另一种就是通过上传robots文件即可，最后一种就是在服务器上面利用“网站安全狗”软件设置静止抓取的方式。

一、wordpress在程序里面设置的方式

1-登录wordpress网站后台

2-进入wordpress后台后，点击“设置”按钮

3-然后再点击“阅读”

4-然后找到“建议搜索引擎不索引本站点”前面的框框，然后勾选这个框框，然后点击“保存更改”即可

二、上传robots文件的方式

1-先在本地创建一个robots文件：robots.txt

2-然后在robots文件里面写入静止搜索引擎抓取的代码

3-写入完成后，然后通过FTP文件上传工具将robots.txt文件上传到网站的根目录中

三、利用服务器中的“网站安全狗”设置静止搜索引擎抓取

1-登录Windows系统的服务器，链接方式（windows+r或者安装一个安全狗-服云客户端）

2-进入Windows系统的服务器后，打开里面的“网站安全狗”软件，然后找到“IP黑白名单”，然后将“开启爬虫访问白名单”签名的勾去掉，然后点击保存即可！

通过以上的步骤就可以让搜索引擎不抓取网站的方式

---