如何禁止所有搜索引擎蜘蛛的爬行收录

可使用robots协议：建立robots.txt 文件，上传至网站根目录：

屏蔽所有搜索引擎爬取网站的语法：

User-agent: *

Disallow: /

允许所有搜索引擎爬取网站所有内容

User-agent: *

Disallow:

只禁止百度抓取你网站的内容

User-agent: Baiduspider

Disallow: /

只允许百度抓取你网站的内容

User-agent: Baiduspider

Disallow:

User-agent: *

disallow: /

在网站的根目录里面，放入robots.txt文件，这样就可以屏蔽蜘蛛的爬取，不过在文件里面要放入你不想让蜘蛛爬取的地方。详细的内容你打开这个网址可以看到 http://help.baidu.com/question?prod_en=search&class=499

---