关于SEO的robots.txt,众所周知robots可以禁止或允许百度蜘蛛访问网站哪些文件夹;

蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止的网址

都不抓取，肯定是不会被采集存进百度数据库的

当然有必要做啦，蜘蛛来到网站第一个找的就是robots.txt文件，没有的话，就相当于一个404错误，sitemap也是有必要做的，可以让蜘蛛很简单的工作，这样蜘蛛对网站也相对会有好点。

---