网络连接超时可能的原因有:
1、网络断开,不过经常显示无法连接;
2、网络阻塞,导致不能在程序默认等待时间内得到回复数据包;
3、网络不稳定,网络无法完整传送服务器信息;
4、系统问题,系统资源过低,无法为程序提供足够的资源处理服务器信息;
5、设备不稳定,如网线松动、接口没插好等等;
6、网络注册时系统繁忙,无法回应;
7、网速过慢,如 使用BT多线程下载,在线收看视频等大量占用带宽的软件,若使用共享带宽还要防范他人恶意占用带宽;
8、计算机感染了恶意软件,计算机病毒,计算机木马等;
解决办法:
1、 检查网线,更换接口;
2、在早上上网人数少的时候注册;
3、使用加速软件,如果要下载东西尽量在没有网络使用需求情况下载;
4、 杀毒;
5、整理系统,减少运行的进程,释放内存、cpu,释放c盘空间;
6、如果使用网卡,可以更换一下网卡;
当然不能了,难道爬虫还会自己通电开机?想让爬虫一直工作就买一台VPS,让他24小时工作就可以了
不过需要注意的是,很多商家是不允许爬虫类程序的
因为可能会有版权问题
所以说用自己的笔记本一直开机运行爬虫也不错
1:检查robots文件中是否有屏蔽对应的搜索引擎蜘蛛。如果robots中写入了禁止搜索引擎抓取,那么蜘蛛是不会抓取的。
2:检查网站空间或服务器的地理位置。
如果网站服务器空间在国外或相对偏远的国外,有可能爬虫有无法访问的情况。
3:咨询空间服务商看是否对你所需要的蜘蛛做了屏蔽策略。
国外的一些空间有服务商针对搜索引擎做了一些策略,不排除屏蔽百度蜘蛛访问的可能。
4:域名曾绑定别的服务器,但此时更换了空间和绑定,原有ip已不存在
进入百度站长资源平台进行抓取测试,如果ip错误则点击手动刷新,清除蜘蛛ip缓存记录。
5:检查远程服务器是否宕机,但是开启了CDN永久在线功能
这种情况偶尔是有的,由于cdn缓存了网站,因此浏览器能打开,但是蜘蛛等其他方式无法打开。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)