1)针对请求设置cookie,有二个值,访问的URL和访问的时间。
2)程序里判断UA,是蜘蛛的UA就不输出广告内容(必须用包含广告JS代码的文件URL来实现,如<script type="text/javascript" src="/showad.php?id=tanchuang"></script>)。
3)showad.php里判断cookie中的URL和referer(必须是步骤1里访问的URL),判断cookie中的时间(距离步骤1里的时间不能超过3到5秒,具体视服务器访问速度设置),判断UA(不能为蜘蛛),条件符合,则由showad.php根据$_GET['id'](如步骤二中的id=tanchuang)输出广告代码,不符合则输出空内容。
4)这个为可选项。因为我是在垃圾站要用,而垃圾站的IP来源主要都是搜索引擎,所以在步骤2中可以添加一个判断,referer来源必须是搜索引擎。
经过上面的设置后,蜘蛛要想抓到广告代码,必须严格符合下面的流程:
1)访问一个网页,并且不使用蜘蛛的UA标识。
2.5)这中间不能访问其他的网页。
2)3秒钟之间内抓取广告地址,并且继续不带蜘蛛UA,并且referer设置为上面流程1中访问的网址。
一些事实理论依据:
1)同一个蜘蛛IP在3秒内连续抓取二次,几乎不会发生。
2)蜘蛛抓取基本都不带cookie。
2)蜘蛛抓取基本都不带referer。
检测网站优化合不合理从以下几方面入手:
1、是否有利于搜索引擎抓取
2、收录快不快?高不高
3、用户体验好不好
4、是否有违反百度规则、算法
5、是否有利于自己编辑优化
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)