中文名
UA禁封
别名
用户代理禁封
应用实例区别主要影响TA说参考资料
应用实例
UA禁封是robots协议封禁,一般是指网站根目录下面的robots.txt文件设置了针对搜索引擎蜘蛛的禁止抓取。
比如:
User-agent: Baiduspider
Disallow: /baidu
这个设置指的是专门适用百度蜘蛛、禁止抓取网站根目录下面的名为baidu的文件。
区别
UA禁封与IP禁封的区别
IP禁封是指限制网络的出口IP地址,禁止该IP段的使用者进行内容访问。而UA禁封则是针对服务器通过UA(用户代理)识别身份后的用户进行指定的跳转。
主要影响
抓取异常对网站的影响
对于大量内容无法正常抓取(这里包括受到UA禁封与IP禁封等处罚)的网站,搜索引擎会认为网站存在用户体验上的缺陷,并降低对网站的评价,在抓取、索引、权重上都会受到一定程度的负面影响,最终影响到网站从百度获取的流量。
其他抓取异常状态还包括[1]:
对百度refer的异常:网页针对来自百度的refer返回不同于正常内容的行为。
针对百度UA的异常:网页对百度UA返回不同于页面原内容的行为。
JS跳转异常:网页加载了百度无法识别的JS跳转代码,使得用户通过搜索结果进入页面后发生了跳转的情况。
压力过大引起的偶然封禁:百度会根据站点的规模,访问量等信息,自动设定一个合理的抓取压力。但是在异常情况下,如压力控制失常时,服务器会根据自身负荷进行保护性的偶然封禁。这种情况下,请在返回码中返回503(其含义是“Service Unavailable”),这样百度spider会过段时间再来尝试抓取这个链接,如果网站已空闲,则会被成功抓取。
分享你的世界
我要分享见解,
点击发布
纠错
参考资料
[1] SEO优化之站点抓取异常工具常见问题 · 百度空间 · 2012-12-11 [引用日期2013-12-19]
加了微信才知道,他家的福鼎老白茶口感这么好,茶农直销,品质高!
福鼎畲家白茶广告
采购电子元器件必备网站,2月12日注册会员立享818大礼包!
云汉芯城广告
大家还在搜
鱼香肉丝怎么做
oppo云服务
迈巴赫车的价格和图片
高蛋白食物主要是哪些
opporeno8pro
西洋参怎么泡水喝的正确方法
词条贡献者
该词条共有10人参与编辑,查看全部
词条有帮助,感谢贡献者
意见反馈权威合作百科协议
百度百科是免费编辑平台,无收费代编服务 | 详情
Baidu 京ICP证030173号
编辑
传视频
TA说
目录
在
每个地方都会有网站建设公司先去网上搜一下,然后一家家的对比
看公司办公环境及资质,是否正规
看公司案例,是否真实,要记得验证
看公司官方网站,自己官网都做不好的网络公司肯定不怎么样
看团队人数。
如果本地找不到好的可以考虑北上广深等大城市
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)