方法:
第一,创建一个robots.txt文件,里面书写以下内容:
User-agent:
baiduspider
Disallow:
/
第二,程序方面写判断,不给百度搜索引擎抓取和访问权限,从而禁止百度收录。
百度停止收录有下几个原因:1. 百度对新站的考验。由于是新站,而未能获得百度的信赖,需要考验一段时间
2. 网站短期内采集过多。由于baiduspider对于网上千百复制的东西已经厌烦。
3. 文章内容伪原创没有价值。由于过度伪原创,文章不具有可读性,完全没有价值,被百度丢弃。
4. Robot.txt设置错误,禁止了蜘蛛的抓取。
5. 服务器不稳定或者程序含有病毒
解决百度收录停止的办法:
1.如果日志中一大半都出现200 0 64的情况,包括用户访问需求和其它搜索蜘蛛访问,则可断定服务器出现问题,换一个稳定的空间即可。
2.如果日志中其它蜘蛛访问正常而唯独不出现百度蜘蛛,说明我们应该检查网站文章,看看文章是否采集或者没有价值,据此更新有价值的原创文章。
3.如果日志中显示有很多baiduspider过来,只是没有抓取内页,则可断定网站处于考核期,需要更新高质量的文章以等待考核通过。
4.如果上面三种情况都没有出现,一切都很正常的话,则可检查robot.txt设置是否正确,我们只需要利用网上在线检查robot.txt文件即可知道。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)