*
其中有些命令是禁止抓取一些不必要的内容，以免防止蜘蛛抓取过度分散，网站权重也不会过于分散，这样有利于百度收录，更有利于让部分内容更得以搜索引擎的重视:
User-agent:
*
Disallow:
/wp-
Allow:
/wp-content/uploads/
Disallow:
/feed
Disallow:
/*/*/feed
Disallow:
/trackback
Disallow:
/*/*/trackback
Disallow:
/index.php/
Disallow:
/*.php$
Disallow:
/*.css$
Disallow:
/date/
禁止Baiduspider
访问我们的网站:
User-agent
: Baiduspider Disallow: /
禁止百度访问特定目录 ：User-agent: *Disallow: /目录URL/
禁止访问网站中所有的
动态页面
：User-agent: *Disallow: /*?*
如何禁止百度搜索引擎抓取网站内容1、编辑robots.txt文件，设计标记为:
User-agent: Baiduspider
Disallow: /
2、在网站首页代码<head>与</head>之间，加入<meta name="Baiduspider" content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。
3、联系百度管理人员，信箱地址为:webmaster@baidu.com，用网站联系人信箱发电邮，如实说明删除网页快照的情况，经百度核实后，网页停止收录抓取。
4、登陆百度自己的“百度快照”帖吧和“百度投诉”帖吧，发个帖子，表明删除网页收录网站快照的原因，当百度管理人员，看到会给予处理。
如何禁止Google搜索引擎收录抓取网站内容
1、编辑robots.txt文件，设计标记为:
User-agent: googlebot
Disallow: /
2、在网站首页代码<head>与</head>之间，加入<meta name="googlebot" content="noarchive">即可禁止google搜索引擎抓取网站并显示网页快照。
欢迎分享，转载请注明来源：夏雨云
微信扫一扫
支付宝扫一扫
评论列表（0条）