如何屏蔽网站蜘蛛的访问

我的网站建好后什么结构与内容都没有确定好之前，我怎么去屏蔽搜索引擎蜘蛛不来访问我的网站，不收录我的网站，这样才不会给我的网站造成损失，其实这样的问题再百度也有很多种回答，可能是由于答案太多太乱的缘故，有很多的人都找不到比较权威的回答，前面我们在文章里讲到一些新手SEO推广建站需注意的问题里面没有讲到关于屏蔽蜘蛛的这一项，现在为大家介绍一下，总体的给大家归纳一下吧！在这里给大家介绍两种方法，如下：一、创建robots.txt文件，并将文件放置在网站根目录。 文件的内容如下： 1、禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 大家知道为什么要创建一个robots.txt的文件吗，也许有很多的都知道建立这个文件就可以屏蔽蜘蛛的访问，不让搜索引擎抓取到自己的网站。在这里我想告诉你的是，不管任何的搜索引擎他来到了你的网站。首先访问的就是你的robots.txt日志文件，当你在robots.txt里设置权限不让搜索引擎访问，那么蜘蛛也会遵守互联网的协议进行返回，这就是为什么我们要建立robots.txt文析的原因。 二、在模版的header.php的文件时添加一段代码，因为蜘蛛来到你的网站是由上到下访问的，所以刚开始访问到的肯定是从header<顶部>开始抓取。所以如果我们在顶部里设置好屏蔽蜘蛛的访问代码后，蜘蛛也会跟第一条一样遵守协议返回。屏蔽蜘蛛访问代码如下：<meta name=”Robots” content=”noindex,nofollow”>通过以上两种方法的话，我们基本上可以屏蔽搜索引擎蜘蛛访问到我们的网站，这样我们就可以去安心的做好网站的结构与内容之后再开放蜘蛛的访问。

死链接：就是页面已经无法对用户提供任何有价值信息的页面，或者说页面打不开，包括协议死链和内容死链两种形式：

1.协议死链：页面的TCP协议状态/HTTP协议状态明确表示的死链，常见的如404、403、503状态等。

2.内容死链：服务器返回状态是正常的，但内容已经变更为不存在、已删除或需要权限等与原内容无关的信息页面。

1.处理死链接的时候我们最好找到死链接自身所处的位置，然后在页面中手动删除。

2.如果死链接太多我们可以使用robots.txt来屏蔽。

3.使用工具提交死链，当网站死链数据累积过多时，可以把所有死链接整理放在一个文件里面，并把制作好的文件上传到网站根目录，然后可以通过百度死链提交工具提交给百度就可以了！

4.利用搜外6系统建立404页面

建立404错误页面，引导死链接的点击。死链接发送请求时，服务器会返回404错误页面。404页面的目的即为了告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而非关闭窗口离开。这对于网站的用户体验比较友好

---