robots禁止搜索引擎抓取问题~

你的robots的意思是

Disallow: /App_Data/

Disallow: /aspnet_client/

Disallow: /bin/

Disallow: /Scripts/

Disallow: /ServerPages/

Disallow: /Setting/

Disallow: /sysCommon/

Disallow: /TemplateFile/

解说：

禁止搜索引擎抓取网站/App_Data/目录下的所有页面

禁止搜索引擎抓取网站 /aspnet_client/目录下的所有页面

禁止搜索引擎抓取网站/bin/目录下的所有页面

禁止搜索引擎抓取网站/Scripts/目录下的所有页面

禁止搜索引擎抓取网站/ServerPages/目录下的所有页面

禁止搜索引擎抓取网站/App_Data/目录下的所有页面

禁止搜索引擎抓取网站 /sysCommon/目录下的所有页面

禁止搜索引擎抓取网站/TemplateFile/目录下的所有页面

但是本人建议最好还是能够写的标准一点

User-agent: *（这里的*代表搜索搜索引擎）

Allow:/

Disallow:/App_Data/

Disallow:/aspnet_client/

Disallow:/bin/

Disallow:/Scripts/

Disallow:/ServerPages/

Disallow:/Setting/

Disallow:/sysCommon/

Disallow:/TemplateFile/

Disallow和allow是配合使用的

如不想让搜索引擎抓取网站/App_Data/目录下面的所有内容但要让搜索引擎抓取/App_Data/A/可以这样写

allow:/App_Data/A/

还有在写robots的时候【Disallow: /Setting/】 “：”号最好用英符 若用的是英符的话不要出现空格。

以上就是我的回答，欢迎交流，望采纳

---