蜘蛛访问不到ROBOTS 对SEO 有影响么？ 老是返回404页面。

在网站seo优化的过程中常常需要通过一个名为robots.txt的文件与搜索引擎蜘蛛对话。通常来讲，搜索引擎蜘蛛爬行到某一个网站就会首先读取该文件，并按照文件中的规则执行接下来的行为。当一个网站中有一些网站不需要被搜索引擎收录时，往往就会通过robots.txt来限制搜索引擎蜘蛛对这个网页的抓取。网站robots.txt中对某个网页屏蔽了蜘蛛的收录，但搜索引擎还是会对该网页进行抓取，只不过在相关搜索结果中不会展现这些网页内容。所以robots.txt对搜索引擎优化有一定的影响的，在搜索引擎的结果中不会显示你的网站页面的相关内容。

蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止的网址

都不抓取，肯定是不会被采集存进百度数据库的

要根据你的网站源代码来确定，屏蔽哪些文件。以dz为例。我的网站是用dz建的。

这个是我的robots.txt设置。更具体的，你直接点击，网址，看。谢谢。

User-agent:

*

Disallow:

/api/

Disallow:

/data/

Disallow:

/source/

Disallow:

/install/

Disallow:

/template/

Disallow:

/config/

Disallow:

/uc_client/

Disallow:

/uc_server/

Disallow:

/static/

Disallow:

/admin.php

Disallow:

/search.php

Disallow:

/member.php

Disallow:

/api.php

Disallow:

/misc.php

Disallow:

/connect.php

Disallow:

/forum.php?mod=redirect*

Disallow:

/forum.php?mod=post*

Disallow:

/home.php?mod=spacecp*

Disallow:

/userapp.php?mod=app&*

Disallow:

/*?mod=misc*

Disallow:

/*?mod=attachment*

Disallow:

/*mobile=yes*

Disallow:

/*home.php*

网页链接

---