百度蜘蛛爬取网站过多，导致网站流量超标

所有网站根目录下都有这么一个文件robots.txt。主要就是限制百度蜘蛛爬取的。设置哪些文件可以爬去那些不可以。设置这么一个文件后就好了。如果不设置百度蜘蛛就会访问你网站的每一个页面这就导致你流量超编。

用robots.txt告诉蜘蛛自己的网站权重分布Disallow: 要拦截的网页，一般写在Allow的前面如果你想屏蔽某些蜘蛛，有人问如果设置个性化呢?你写在上述的上面就可以了User-agent: BaiduspiderDisallow: / 查看原帖>>

百度蜘蛛爬行是指百度搜索引擎到你的网站，抓取你的网站信息，当你的网站有不停的更新且都是原创，而且百度蜘蛛喜欢的话，他就会把你的首页或是更新的信息收录到百度数据库中，这样你网站的内容才可以被别人搜索到。

而你说的“我可以理解成这个多少次数是通过百度访问我们网站的ip的数量么？” 这个是错误的，百度蜘蛛到你网站爬行这个是不算访问量的，只有普通用户通过搜索关键字或是直接访问你的网站时产生的流量才算是访问流量。

所以做一个好网站就是要让蜘蛛喜欢，他就会常来爬你的网站，爬行的越多说明你的网站受蜘蛛喜欢程度就越高，这样你的网站收录就越好。

不知道这样的回答你满意不？满意的话请给我点鼓励，给个最佳答案，谢谢哈！！！

---